[논문 리뷰] Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula

Yuxuan Zhao, Madeleine Udell|arXiv (Cornell University)|2020. 01. 01.

Statistical Methods and Inference인용 수 3

한 줄 요약

이 논문은 불확실성 정량화를 제공하는 확률적 프레임워크인 Low Rank Gaussian Copula를 제안한다. 행렬 완성에 적용되며, 확률적 주성분 분석(PPCA)을 열별 마진 분포 변환으로 확장함으로써 실수, 순서형, 불리안 데이터 유형을 모두 모델링하고 잘 校정된 불확실성 추정을 제공한다. 선형 시간 복잡도를 유지하면서도 최신 기술 수준의 완성 정확도를 달성한다.

ABSTRACT

Modern large scale datasets are often plagued with missing entries. For tabular data with missing values, a flurry of imputation algorithms solve for a complete matrix which minimizes some penalized reconstruction error. However, almost none of them can estimate the uncertainty of its imputations. This paper proposes a probabilistic and scalable framework for missing value imputation with quantified uncertainty. Our model, the Low Rank Gaussian Copula, augments a standard probabilistic model, Probabilistic Principal Component Analysis, with marginal transformations for each column that allow the model to better match the distribution of the data. It naturally handles Boolean, ordinal, and real-valued observations and quantifies the uncertainty in each imputation. The time required to fit the model scales linearly with the number of rows and the number of columns in the dataset. Empirical results show the method yields state-of-the-art imputation accuracy across a wide range of data types, including those with high rank. Our uncertainty measure predicts imputation error well: entries with lower uncertainty do have lower imputation error (on average). Moreover, for real-valued data, the resulting confidence intervals are well-calibrated.

연구 동기 및 목표

• 대규모 표본 데이터에 대한 기존 행렬 완성 방법에서의 불확실성 정량화 부족 문제를 해결한다.
• 실수형, 순서형, 불리안 변수를 포함한 다양한 데이터 유형을 정확히 처리할 수 있는 확률적 모델을 개발한다.
• 데이터셋 크기에 비례하여 효율적으로 스케일링되며, 행과 열 모두에 대해 선형 시간 복잡도를 유지한다.
• 실제 완성 오차와 관련된 불확실성 추정을 제공하여 완성된 값의 신뢰성을 향상시킨다.
• 다양한 데이터 유형, 특히 고랭크 행렬을 포함한 최신 기술 수준의 완성 정확도를 달성한다.

제안 방법

• 각 열의 경험적 분포에 더 잘 맞추기 위해 확률적 주성분 분석(PPCA)에 열별 마진 변환을 도입한다.
• 가우시안 코풀라 프레임워크를 사용하여 변수 간의 의존성을 모델링하면서도 개별 열의 마진 분포를 유지한다.
• 관측된 값을 표준 정규 공간으로 매핑하기 위해 각 열에 위치-스케일 변환을 적용함으로써 비정규 분포 데이터에 대한 민감한 모델링을 가능하게 한다.
• 행과 열의 수에 대해 선형적으로 스케일링되는 기대값-최대화(EM) 알고리즘을 사용하여 모델 파라미터를 최적화한다.
• 후행 예측 분포에서 샘플링을 통해 완성값을 생성함으로써 자연스럽게 불확실성을 통합한다.
• 실수형 완성값에 대한 신뢰구간을 구성하고, 실측 커버리지 비율을 사용하여 그 캘리브레이션을 평가한다.

실험 결과

연구 질문

• RQ1 유연한 마진 분포를 가진 저랭크 확률 모델이 다양한 데이터 유형에 걸쳐 완성 정확도를 향상시킬 수 있는가?
• RQ2 제안된 방법이 실제 완성 오차와 관련된 불확실성 추정을 제공하는가?
• RQ3 실수형 완성값에 대해 생성된 신뢰구간이 진짜 오차 비율을 얼마나 잘 반영하는가?
• RQ4 행과 열의 수가 증가함에 따라 모델의 확장성은 어느 정도인가?
• RQ5 기존 최신 기술 수준의 완성 기법과 비교해 볼 때, 이 방법은 고랭크 데이터에서 어떻게 성능을 발휘하는가?

주요 결과

• Low Rank Gaussian Copula는 고랭크 행렬을 포함한 다양한 데이터 유형에서 최신 기술 수준의 완성 정확도를 달성한다.
• 낮은 불확실성 추정을 가진 완성값은 평균적으로 더 낮은 실제 완성 오차를 보이며, 이는 불확실성 추정의 신뢰성에 대한 검증이다.
• 실수형 데이터의 경우, 모델이 생성한 신뢰구간은 실측 커버리지 비율이 명시된 수준에 가깝게 잘 校정되어 있다.
• 모델 피팅에 소요되는 시간은 행과 열의 수에 대해 선형적으로 증가하므로 대규모 데이터셋에 효율적으로 적용할 수 있다.
• 통합된 확률적 프레임워크 내에서 열별 마진 변환을 통해 실수형, 순서형, 불리안 데이터 유형을 효과적으로 모델링한다.
• 불확실성 정량화 메커니즘이 하류 신뢰성 향상에 기여하며, 더 높은 불확실성을 가진 항목일수록 더 큰 완성 오차를 보인다.