[논문 리뷰] Probabilistic Contrastive Principal Component Analysis

Didong Li, Andrew Jones외 1명|arXiv (Cornell University)|2020. 12. 14.

Spectroscopy and Chemometric Analyses참고 문헌 32인용 수 8

한 줄 요약

이 논문은 원인적 추론, 불확실성 측정, 결측 데이터에 대한 강건성 등이 보장되는 생성적 모델 기반 확률적 대비 주성분 분석(Probabilistic Contrastive Principal Component Analysis, PCPCA)을 제안한다. 상대적 우도 목적함수를 정의하고 경사 하강법을 사용한 최대 상대 우도 추정을 통해 PCPCA는 소음과 결측 데이터가 존재하는 조건에서도 CPCA 및 PPCA보다 더 잘 전경 특이적 변동성을 포착하며, PCA, PPCA, CPCA를 하나의 확률적 프레임워크의 특수한 경우로 통합한다.

ABSTRACT

Dimension reduction is useful for exploratory data analysis. In many applications, it is of interest to discover variation that is enriched in a "foreground" dataset relative to a "background" dataset. Recently, contrastive principal component analysis (CPCA) was proposed for this setting. However, the lack of a formal probabilistic model makes it difficult to reason about CPCA and to tune its hyperparameter. In this work, we propose probabilistic contrastive principal component analysis (PCPCA), a model-based alternative to CPCA. We discuss how to set the hyperparameter in theory and in practice, and we show several of PCPCA's advantages over CPCA, including greater interpretability, uncertainty quantification and principled inference, robustness to noise and missing data, and the ability to generate data from the model. We demonstrate PCPCA's performance through a series of simulations and case-control experiments with datasets of gene expression, protein expression, and images.

연구 동기 및 목표

• 대비 주성분 분석(CPCA)에 공식적인 확률 모델이 부족하여 통계적 추론과 하이퍼파rameter 조정이 제한되는 문제를 해결하기 위해.
• 배경 데이터셋에 비해 전경 데이터셋에서 고유한 변동성을 포착하는 생성 모델을 개발하기 위해.
• 불확실성 측정, 원칙적인 추론, 데이터 생성 기능을 제공하기 위해 — CPCA에는 없는 기능들이다.
• 기존 방법들인 CPCA 및 PPCA와 비교해 소음 및 결측 데이터에 대한 강건성을 향상시키기 위해.
• PCA, PPCA, CPCA를 하나의 확률적 프레임워크의 특수한 경우로 통합하기 위해.

제안 방법

• 전경 대비 배경 데이터셋에 대한 모델 적합도를 비교하는 상대적 우도 목적함수를 정의하여 원칙적인 대비 학습을 가능하게 한다.
• 정의된 우도 함수에 의존하지 않는 최대 상대 우도 추정(MRLE)을 추론 방법으로 도입한다.
• 관측된 데이터만을 사용하는 경사 하강법 알고리즘을 유도하여 결측값이 있는 데이터의 최적화도 가능하게 한다.
• 공통 및 전경 특이적 성분을 포함하는 잠재 변수 모델을 사용하여 대비적 변동과 공통 변동을 분리한다.
• 요인 로딩 행렬과 잡음 분산의 최대우도 추정을 통해 모델을 데이터에 적용하고, Adam 및 기울기 업데이트를 통한 최적화를 수행한다.
• 특정 매개변수 설정 하에서 PCA, PPCA, CPCA가 PCPCA의 특수한 경우로 나타남을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 대비 차원 축소를 위한 공식적인 확률 모델을 구성할 수 있을까? 이는 불확실성 측정과 원칙적인 추론을 가능하게 한다.
• RQ2 조절 매개변수 γ가 전경 대비 배경 변동에 대한 집중도를 제어하는 이론적 및 실용적 역할은 무엇인가?
• RQ3 소음과 결측 데이터가 존재하는 조건에서 PCPCA는 CPCA 및 PPCA를 초월하여 대비적 구조를 효과적으로 식별할 수 있는가?
• RQ4 PCPCA의 상대적 우도 목적함수는 표준 우도 기반 모델과 비교해 강건성과 해석 가능성 측면에서 어떻게 다른가?
• RQ5 PCPCA는 실제 생물학적 및 영상 데이터 세트에서 합성 데이터 생성과 결측치 보정을 효과적으로 수행할 수 있는가?

주요 결과

• 결측 데이터 비율이 증가하는 시뮬레이션 데이터에서 PCPCA는 PPCA보다 낮은 재구성 오차를 기록하여 결측 데이터에 대한 강건성을 입증했다.
• 마우스 단백질 발현 데이터셋에서, 60%의 값이 마스킹된 상태에서도 PCPCA는 하위군 구조에 대해 높은 실루엣 점수를 유지하여 군집의 무결성이 유지됨을 보였다.
• 결측된 전경 값에 대한 보정 오차는 PCPCA가 PPCA보다 일관되게 낮아, 결측 데이터 복구 성능이 뛰어남을 확인했다.
• 모델은 유전자 및 단백질 발현 데이터 세트에서 질병 관련 전사적 변동을 성공적으로 포착했으며, 생물학적으로 의미 있는 대비 성분을 식별하는 데서 CPCA 및 PPCA를 능가했다.
• 기하학적 해석과 확률적 공식화 덕분에 PCPCA는 CPCA에 없던 불확실성 측정 및 데이터 생성 기능을 제공했다.
• 이론적 분석을 통해 γ는 전경과 배경 분산에 대한 집중 균형을 제어하며, 최적의 값은 모델 안정성 조건에서 유도됨을 밝혔다.