[논문 리뷰] Inference for Heteroskedastic PCA with Missing Data

Yuling Yan, Yuxin Chen외 1명|arXiv (Cornell University)|2021. 07. 26.

Sparse and Compressive Sensing Techniques참고 문헌 70인용 수 7

한 줄 요약

이 논문은 높은 차원에서 이방성 잡음과 누락 데이터가 존재하는 상황에서 주성분 분석(PCA)에 대한 데이터 기반 추론 프레임워크를 제안한다. 이는 HeteroPCA 추정기(_estimator)를 사용하며, 잡음 분산에 대한 사전 지식이 없이도 주성분 부분공간에 대한 유효한 신뢰 영역과 스파iked 공분산 행렬에 대한 엔트리별 신뢰구간을 구성하기 위해 비점점적 분포 보장을 수립한다.

ABSTRACT

This paper studies how to construct confidence regions for principal component analysis (PCA) in high dimension, a problem that has been vastly under-explored. While computing measures of uncertainty for nonlinear/nonconvex estimators is in general difficult in high dimension, the challenge is further compounded by the prevalent presence of missing data and heteroskedastic noise. We propose a novel approach to performing valid inference on the principal subspace under a spiked covariance model with missing data, on the basis of an estimator called HeteroPCA (Zhang et al., 2022). We develop non-asymptotic distributional guarantees for HeteroPCA, and demonstrate how these can be invoked to compute both confidence regions for the principal subspace and entrywise confidence intervals for the spiked covariance matrix. Our inference procedures are fully data-driven and adaptive to heteroskedastic random noise, without requiring prior knowledge about the noise levels.

연구 동기 및 목표

• 누락 데이터와 이방성 잡음이 존재하는 고차원 설정에서 PCA의 불확실성 정량화에 대한 핵심적 격차를 메운다.
• 각 엔트리에서 알려지지 않은 잡음 수준에 적응하는 완전히 데이터 기반의 추론 절차를 개발한다.
• 누락 데이터가 존재하는 스파iked 공분산 모델 하에서 HeteroPCA 추정기의 비점점적 분포 보장을 수립한다.
• 주성분 부분공간에 대한 유효한 신뢰 영역과 공분산 행렬에 대한 엔트리별 신뢰구간을 가능하게 한다.
• 샘플링 비율이나 잡음 분산에 대한 지식이 없이도 이방성 잡음과 누락 데이터 패턴에 대해 강건한 성능을 확보한다.

제안 방법

• 이방성 잡음과 누락 데이터 하에서 부분공간 추정의 기초로 Zhang 등(2022)의 HeteroPCA 추정기를 활용한다.
• 주성분 부분공간에 대한 추정 오차의 비점점적 분포 근사값을 두 번째 순서 섭동 이론을 통해 유도한다.
• 신호와 잡음 성분을 분리하는 핵심 오차 분해를 수립하여 추정기의 분포 특성을 가능하게 한다.
• 공분산 행렬의 주성분 부분공간에 대한 데이터 기반 플러그인 추정치와 엔트리별 분산을 사용하여 알려진 잡음 수준에 의존하지 않는다.
• 분포 이론에서 유도된 점근 정규 근사값을 통해 신뢰 영역과 구간을 구성한다.
• 이방성 잡음이 행 방향으로 존재하고 무작위 샘플링 모델 하에서 누락 데이터가 존재하는 상황을 다룰 수 있는 정교한 분석 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 데이터가 누락되어 있고 잡음이 이방성일 때 고차원 PCA에서 주성분 부분공간에 대해 유효한 신뢰 영역을 구성할 수 있는가?
• RQ2 잡음 분산이나 샘플링 비율에 대한 사전 지식이 없이도 PCA의 불확실성을 어떻게 정량화할 수 있는가?
• RQ3 누락 데이터와 이방성 잡음 하에서 HeteroPCA 추정기의 비점점적 분포 보장은 무엇을 제공할 수 있는가?
• RQ4 동일한 조건 하에서 스파iked 공분산 행렬에 대해 엔트리별 신뢰구간을 구성할 수 있는가?
• RQ5 누락 데이터가 존재하는 PCA에서 유효한 데이터 기반 추론이 가능하도록 하는 최소한의 잡음 구조 가정은 무엇인가?

주요 결과

• 논문은 누락 데이터와 이방성 잡음이 존재하는 스파iked 공분산 모델 하에서 HeteroPCA 추정기의 비점점적 분포 보장을 수립한다.
• 잡음 수준에 대한 지식이 없이도 주성분 부분공간에 대한 신뢰 영역이 데이터 기반의 점근 공분산 행렬 추정치를 사용하여 구성된다.
• 스파iked 공분산 행렬에 대한 엔트리별 신뢰구간은 유효하고 적응 가능하며, 관측된 데이터에만 의존하고 잡음 분산에 대한 사전 정보가 필요로 하지 않는다.
• 샘플링 비율 p가 알려지지 않았더라도, 잡음 수준이 신호 강도에 비해 충분히 작을 경우 메서드는 여전히 강건하다.
• 이론적 분석은 추정기가 온전한 조건 하에서 제1 및 제2차 근사값을 달성함을 보여주며, 이를 통해 타당한 추론이 가능하다.
• 이 프레임워크는 엔트리 간 이방성 잡음이 존재하는 설정으로 확장되었지만, 잡음 구조에 대한 더 강한 가정 없이는 데이터 기반 추론이 불가능해진다.