[논문 리뷰] Estimation and imputation in Probabilistic Principal Component Analysis with Missing Not At Random data

Aude Sportisse, Claire Boyer외 1명|arXiv (Cornell University)|2019. 06. 06.

Statistical Methods and Inference인용 수 18

한 줄 요약

이 논문은 누락 데이터 분포를 모델링하지 않고 Missing Not At at Random (MNAR) 메커니즘 하에서 Probabilistic Principal Component Analysis (PPCA)의 누락 데이터 추정 및 보정을 위한 방법을 제안한다. 자기 마스크형 MNAR 하에서 PPCA 파라미터의 식별 가능성을 입증하고, 완전사례 데이터만을 사용하여 평균, 분산, 공분산에 대한 일致한 추정기들을 유도함으로써, 저랭크 모델에서 편향 없는 보정을 가능하게 한다.

ABSTRACT

Missing Not At Random (MNAR) values lead to significant biases in the data, since the probability of missingness depends on the unobserved values.They are ''not ignorable'' in the sense that they often require defining a model for the missing data mechanism, which makes inference or imputation tasks more complex. Furthermore, this implies a strong extit{a priori} on the parametric form of the distribution.However, some works have obtained guarantees on the estimation of parameters in the presence of MNAR data, without specifying the distribution of missing data \citep{mohan2018estimation, tang2003analysis}. This is very useful in practice, but is limited to simple cases such as self-masked MNAR values in data generated according to linear regression models.We continue this line of research, but extend it to a more general MNAR mechanism, in a more general model of the probabilistic principal component analysis (PPCA), extit{i.e.}, a low-rank model with random effects. We prove identifiability of the PPCA parameters. We then propose an estimation of the loading coefficients and a data imputation method. They are based on estimators of means, variances and covariances of missing variables, for which consistency is discussed. These estimators have the great advantage of being calculated using only the observed data, leveraging the underlying low-rank structure of the data. We illustrate the relevance of the method with numerical experiments on synthetic data and also on real data collected from a medical register.

연구 동기 및 목표

• 데이터가 Missing Not At Random (MNAR)일 경우 발생하는 선택 편향과 추론의 복잡성으로 인해 PPCA에서의 파라미터 추정 및 데이터 보정 문제를 해결하는 것.
• 이전 연구가 단순하거나 MAR 설정에 국한된 바에 비해, 일반적인 자기 마스크형 MNAR 메커니즘 하에서 PPCA 파라미터의 식별 가능성을 확립하는 것.
• 누락 데이터 메커니즘을 특정하지 않고도 관측된 데이터만을 기반으로 MNAR 변수의 주요 모멘트(평균, 분산, 공분산)를 추정할 수 있는 방법을 개발하는 것.
• 비용이 많이 들지 않는 데이터 및 누락성의 동시 모델링을 피하고, 저랭크 모델에서 누락된 값을 보정하기 위한 계산적으로 효율적인 비모수적 접근법을 제공하는 것.

제안 방법

• PPCA의 저랭크 구조를 활용하여, MNAR 변수의 평균, 분산, 공분산을 완전사례 분석을 통해 추정한다.
• PPCA 모델에서 유도된 부분 선형 모델의 대수적 변환을 통해 회귀계수 행렬 및 평균 파라미터의 추정기들을 유도한다.
• 조건부 독립성을 모델링하고 MAR 및 MNAR 메커니즘 하에서 일치한 추정기를 도출하기 위해 그래픽 모델 및 누락성 그래프를 적용한다.
• 두 가지 전략을 제안한다: 하나는 부분 선형 모델 기반이고, 다른 하나는 그래픽 모델 도구를 사용하여 누락성 존재 하에서 식별 가능한 관계를 식별하는 것.
• 회귀계수 행렬 추정과 누락값 보정을 번갈아가며 수행하는 알고리즘을 구현하며, 일致한 모멘트 추정기를 사용한다.
• 누락성의 원인이 관측되지 않은 값에 의존하더라도 정규성 조건(가정 A1–A9) 하에서 추정기의 일치성을 보장한다.

실험 결과

연구 질문

• RQ1 자기 마스크형 메커니즘 하에서 데이터가 MNAR일 경우 PPCA 파라미터를 식별할 수 있는가?
• RQ2 누락 데이터 메커니즘을 모델링하지 않고도 MNAR 변수의 평균, 분산, 공분산에 대한 일치한 추정기를 도출할 수 있는가?
• RQ3 PPCA의 저랭크 구조는 비무시적 누락 데이터 설정에서 추정 및 보정을 가능하게 하기 위해 어떻게 활용될 수 있는가?
• RQ4 MNAR 누락성 존재 하에서 완전사례 추정기의 모멘트 일치성을 보장하는 조건은 무엇인가?
• RQ5 제안된 방법은 추정 정확도 및 보정 성능 측면에서 최첨단 기법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 이 논문은 이전 연구가 MAR 또는 단순한 MNAR 사례에 국한된 바에 비해, 일반적인 자기 마스크형 MNAR 메커니즘 하에서 PPCA 파라미터의 식별 가능성을 증명한다.
• 누락 데이터 분포를 모델링하지 않고도 관측된 데이터만을 사용하여 MNAR 변수의 평균, 분산, 공분산에 대한 일치한 추정기를 도출한다.
• 합성 데이터에서 제안된 방법은 정확한 보정과 파라미터 추정을 달성하며, RMSE 및 상관계수 복구 측면에서 최첨단 기법들을 능가한다.
• 실제 의료 데이터(Traumabase®)에서, 이 방법은 표준 보정 기법들보다 더 낮은 편향을 보이며 강건한 성능을 보였다.
• 알고리즘은 계산적으로 효율적이며 확장 가능하며, 재현 가능성을 위해 GitHub에 공개된 코드를 제공한다.
• 실험 결과는 이 방법이 MAR 및 MNAR 메커니즘이 동시에 동일한 데이터셋에 존재하는 경우에도 추정 일치성을 유지함을 확인한다.