[論文レビュー] Probabilistic Contrastive Principal Component Analysis

Didong Li, Andrew Jones+1 more|arXiv (Cornell University)|Dec 14, 2020

Spectroscopy and Chemometric Analyses参考文献 32被引用数 8

ひとこと要約

この論文は、生成的でモデルベースの対照的PCA（CPCA）の拡張として、確率的対照的主成分分析（PCPCA）を提案する。PCPCAは、原則的な推論、不確実性の定量化、欠損データに対するロバストな処理を可能にする。相対尤度の目的関数を定式化し、勾配降下法を用いた最大相対尤度推定を採用することで、PCPCAはCPCAおよびPPCAを凌ぎ、ノイズや欠損データ下でも前景固有の変動をよりよく捉える。また、PCA、PPCA、CPCAを特別なケースとして統合する。

ABSTRACT

Dimension reduction is useful for exploratory data analysis. In many applications, it is of interest to discover variation that is enriched in a "foreground" dataset relative to a "background" dataset. Recently, contrastive principal component analysis (CPCA) was proposed for this setting. However, the lack of a formal probabilistic model makes it difficult to reason about CPCA and to tune its hyperparameter. In this work, we propose probabilistic contrastive principal component analysis (PCPCA), a model-based alternative to CPCA. We discuss how to set the hyperparameter in theory and in practice, and we show several of PCPCA's advantages over CPCA, including greater interpretability, uncertainty quantification and principled inference, robustness to noise and missing data, and the ability to generate data from the model. We demonstrate PCPCA's performance through a series of simulations and case-control experiments with datasets of gene expression, protein expression, and images.

研究の動機と目的

• 対照的PCA（CPCA）における形式的な確率的モデルの欠如に起因する統計的推論およびハイパーパrameterチューニングの制限を解消すること。
• 背景データセットに対して相対的に前向きな変動を捉える生成的モデルを開発すること。
• 不確実性の定量化、原則的な推論、およびデータ生成—これらはCPCAに欠落している機能である。
• CPCAおよびPPCAと比較して、ノイズおよび欠損データに対するロバスト性を向上させること。
• PCA、PPCA、CPCAを一つの確率的フレームワークの特別なケースとして統合すること。

提案手法

• 前向きデータセットと背景データセットにおけるモデル適合度を比較する相対尤度の目的関数を定式化し、原則的な対照的学習を可能にする。
• 明確な尤度関数に依存しない最大相対尤度推定（MRLE）を推論手法として導入する。
• 欠損値を含むデータのみで最適化が可能な勾配降下法を導出する。
• 共有成分と前向き特異的成分を有する潜在変数モデルを用いて、対照的変動と共有変動を分離する。
• 因子負荷行列とノイズ分散の最尤推定をデータに適用し、Adamと勾配更新を用いた最適化を実施する。
• PCA、PPCA、CPCAが特定のパrameter設定下でPCPCAの特別なケースとして導出されることを示す。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、不確実性の定量化と原則的な推論を可能にする形式的な確率的モデルを対照的次元削減に構築できるか？
• RQ2 チューニングパラメータγが前向き変動と背景変動の焦点に与える理論的および実用的役割は何か？
• RQ3 ノイズおよび欠損データ下で、PCPCAはCPCAおよびPPCAを上回って対照的構造を同定できるか？
• RQ4 PCPCAにおける相対尤度の目的関数は、標準尤度ベースのモデルと比較して、ロバスト性および解釈可能性の面でどのように異なるか？
• RQ5 PCPCAは、実世界の生物学的および画像データセットにおいて、合成データ生成および欠損値補完を効果的に行えるか？

主な発見

• 欠損データが増加するシミュレーションデータにおいて、PCPCAはPPCAよりも低い再構成誤差を達成し、欠損値に対するロバスト性を示した。
• マウスタンパク質発現データセットにおいて、60％の値がマスキングされてもPCPCAは高いシルエットスコアを維持し、クラスタ構造の整合性が保たれた。
• 欠損した前向き値の補完誤差は、PCPCAがPPCAよりも一貫して低く、欠損データ回復における優れた性能を確認した。
• 遺伝子およびタンパク質発現データセットにおいて、PCPCAは疾患関連の転写的変動を効果的に捉え、CPCAおよびPPCAを上回って生物学的に関連のある対照的成分を同定した。
• PCPCAの幾何的解釈と確率的定式化により、不確実性の定量化とデータ生成が可能となり、これらはCPCAに欠落していた特徴であった。
• 理論的分析により、γが前向き変動と背景変動の焦点のバランスを制御することが示され、モデル安定性条件から最適な値が導出された。