[논문 리뷰] High-dimensional principal component analysis with heterogeneous missingness

Ziwei Zhu, Tengyao Wang외 1명|arXiv (Cornell University)|2019. 06. 28.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 22

한 줄 요약

이 논문은 기능 간 고르지 않은 누락 확률을 가진 고차원 주성분 분석에서의 새로운 반복적 방법인 primePCA를 제안한다. 초기 추정치로 역확률가중추정량을 사용하며, primePCA는 현재 추정치의 열공간에 투영하여 누락된 값을 추정하고, 이를 바탕으로 누락된 값을 보완한 행렬의 SVD를 통해 추정치를 갱신하는 방식으로 반복한다. 이 방법은 새로운 비일관성 조건 하에서 노이즈가 없는 경우 참 주성분으로 기하급수적 수렴을 달성하며, 이론적 보장은 최악의 경우가 아니라 평균적인 누락 특성에 의존한다.

ABSTRACT

We study the problem of high-dimensional Principal Component Analysis (PCA) with missing observations. In a simple, homogeneous observation model, we show that an existing observed-proportion weighted (OPW) estimator of the leading principal components can (nearly) attain the minimax optimal rate of convergence, which exhibits an interesting phase transition. However, deeper investigation reveals that, particularly in more realistic settings where the observation probabilities are heterogeneous, the empirical performance of the OPW estimator can be unsatisfactory; moreover, in the noiseless case, it fails to provide exact recovery of the principal components. Our main contribution, then, is to introduce a new method, which we call primePCA, that is designed to cope with situations where observations may be missing in a heterogeneous manner. Starting from the OPW estimator, primePCA iteratively projects the observed entries of the data matrix onto the column space of our current estimate to impute the missing entries, and then updates our estimate by computing the leading right singular space of the imputed data matrix. We prove that the error of primePCA converges to zero at a geometric rate in the noiseless case, and when the signal strength is not too small. An important feature of our theoretical guarantees is that they depend on average, as opposed to worst-case, properties of the missingness mechanism. Our numerical studies on both simulated and real data reveal that primePCA exhibits very encouraging performance across a wide range of scenarios, including settings where the data are not Missing Completely At Random.

연구 동기 및 목표

• 누락이 고르지 않은 경우 고차원 PCA에서 기존의 역확률가중추정량(IPW)의 한계를 해결하기 위해.
• 일부 기능이 다른 기능보다 더 자주 관측되는 현실적인 누락 패턴에 강건한 방법을 개발하기 위해.
• 누락 메커니즘의 평균적 특성에 의존하는 주성분 복원 이론적 보장을 확립하기 위해.
• 고차원 환경에서 누락 데이터가 존재하는 상황에서 실용적이고 이론적으로 타당한 PCA 알고리즘을 제공하기 위해.

제안 방법

• 누락된 값을 추정하고 주성분 추정치를 갱신하는 반복 알고리즘인 primePCA를 제안한다.
• 현재 추정치의 열공간에 관측된 행렬의 요소들을 투영하여 누락된 값을 추정한다.
• 각 반복 단계에서 보완된 데이터 행렬의 주요 우측 특이공간을 계산하여 추정치를 갱신한다.
• 고르지 않은 누락 상황 하에서도 복원 가능성을 보장하기 위해 주성분에 대한 새로운 비일관성 조건을 도입한다.
• 반복 절차를 시작하기 위해 초기 추정치로 역확률가중추정량을 사용한다.
• 이론적 분석 결과, 신호 강도가 충분할 경우 노이즈가 없는 경우 오차가 기하급수적으로 0으로 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 고르지 않은 누락 상황에서 노이즈가 없는 경우 기존 IPW 추정량이 정확한 복원을 달성할 수 있는가?
• RQ2 주성분과 누락 메커니즘에 대한 어떤 구조적 조건이 고차원 PCA에서 누락 데이터가 존재하는 상황에서 일관된 복원을 가능하게 하는가?
• RQ3 고르지 않은 누락과 낮은 질서 구조 간의 상호작용이 PCA 복원의 가능성에 어떤 영향을 미치는가?
• RQ4 반복적 정밀화 절차가 초기 IPW 추정량보다 수렴 속도와 정확도 측면에서 개선을 이룰 수 있는가?
• RQ5 실제 누락 패턴 하에서 제안된 방법의 유한표본 및 점근적 성질은 어떠한가?

주요 결과

• 신호 강도가 너무 작지 않고 비일관성 조건이 만족될 경우, primePCA는 노이즈가 없는 경우 참 주성분으로 기하급수적 수렴을 달성한다.
• 이론적 보장은 누락 메커니즘의 최악의 경우가 아니라 평균적 특성에 의존하므로, 이는 고르지 않은 패턴에 강건함을 의미한다.
• 노이즈가 없는 경우, IPW 추정량은 정확한 복원을 제공하지 못하므로 반복적 정밀화의 필요성을 드러낸다.
• 수치 실험에서 시뮬레이션 및 실세계 데이터셋(예: Million Song Dataset 포함)에서 primePCA는 IPW 추정량보다 뚜렷이 우수한 성능을 보였다.
• 이론적 경계 분석 결과, 적절한 조건 하에서 primePCA는 로그 인자 수준까지 최소최대 최적 속도를 달성한다.
• 비일관성 조건은 주성분이 누락 패턴과 일치하지 않도록 보장하여 일관된 복원을 가능하게 하므로 필수적이다.