[論文レビュー] Residual Component Analysis: Generalising PCA for more flexible inference in linear-Gaussian models

Freddie Kalaitzis, Neil D. Lawrence|arXiv (Cornell University)|Jun 18, 2012

Gaussian Processes and Bayesian Inference参考文献 14被引用数 5

ひとこと要約

この論文は、線形ガウスモデルにおける残差分散を一般固有値問題を用いて構造的成分に分解する、一般化された確率的PCA（RCA）を提案する。低ランクおよびスパース逆共分散構造を分離することで、事前に存在する依存関係を有するデータにおけるより柔軟な推論を可能にし、タンパク質シグナル伝達、遺伝子発現、3次元モーショングラフデータにおいて、モデル化の精度と解釈可能性が向上することを示している。

ABSTRACT

Probabilistic principal component analysis (PPCA) seeks a low dimensional representation of a data set in the presence of independent spherical Gaussian noise. The maximum likelihood solution for the model is an eigenvalue problem on the sample covariance matrix. In this paper we consider the situation where the data variance is already partially explained by other actors, for example sparse conditional dependencies between the covariates, or temporal correlations leaving some residual variance. We decompose the residual variance into its components through a generalised eigenvalue problem, which we call residual component analysis (RCA). We explore a range of new algorithms that arise from the framework, including one that factorises the covariance of a Gaussian density into a low-rank and a sparse-inverse component. We illustrate the ideas on the recovery of a protein-signaling network, a gene expression time-series data set and the recovery of the human skeleton from motion capture 3-D cloud data.

研究の動機と目的

• データの分散が条件付き依存関係や時系列相関などの外部要因によって部分的に説明される場合、確率的PCAの限界を克服すること。
• 標準PCAを超えて残差分散を明示的にモデル化するフレームワークを開発し、より正確で解釈可能な低次元表現を可能にすること。
• 共分散行列を低ランクおよびスパース逆成分に因子分解することでPCAを一般化し、データのグローバルおよびローカル構造を捉えること。
• ノイズや構造的依存関係が標準PCAを複雑にする線形ガウスモデルにおける柔軟な推論メカニズムを提供すること。
• 生物学的時系列データや3次元モーショングラフデータを含む、複雑な依存関係を有する実世界のデータセットにおいて、本手法の有効性を示すこと。

提案手法

• RCAは、残差共分散を一般固有値問題として定式化し、異なる分散源を捉える成分に分解する。
• この手法は、全共分散行列をグローバル構造を表す低ランク成分と、ローカルな条件付き依存関係を表すスパース逆成分の和としてモデル化する。
• 観測データが、残差ノイズが一般固有値分解を介して構造化された低次元の潜在部分空間から生じると仮定する確率的生成モデルを用いる。
• 推論フレームワークにより、低ランク部分空間とスパース逆共分散の同時推定が可能となり、複雑なデータ構造の柔軟なモデリングが可能になる。
• 時間的または条件付き関係などの依存関係に関する事前知識を共分散分解に組み込むことで、標準PCAを拡張する。
• 線形ガウスモデル下での最尤推定を用いてアルゴリズムを導出し、反復的重み付けおよび固有値分解技術による最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 データが条件付き依存関係や時系列相関などの外部要因によってすでに部分的に説明されている場合、PCAはどのように一般化され、残差分散をモデル化できるか？
• RQ2 一元的なフレームワークが、残差共分散を低ランクおよびスパース逆成分に分解することで、モデリングの柔軟性を向上させられるか？
• RQ3 共分散行列における低ランクおよびスパース成分の分離が、線形ガウスモデルにおける推論に与える影響は何か？
• RQ4 実世界のデータセットにおける複雑なデータ構造を捉える際、RCAは標準PCAや他の共分散分解手法と比べてどのように優れているか？
• RQ5 標準PCAが構造的ノイズのため失敗する生物学的データやモーショングラフデータにおいて、RCAは解釈可能な構造を効果的に回復できるか？

主な発見

• RCAは、残差分散を低ランクおよびスパース逆成分に成功して分解し、データ内の複雑な依存関係のより正確なモデリングを可能にした。
• 時間的相関が分散分布に影響を与える遺伝子発現時系列データにおいて、RCAは標準PCAを上回る性能を示した。
• 3次元モーショングラフデータでは、関節位置間の残差相関をモデル化することで、人間の骨格を正確に回復し、再構成の忠実度を向上させた。
• タンパク質シグナル伝達ネットワークの回復において、RCAはグローバルトレンドとローカルな調節的要因を分離し、生物学的に意味のある相互作用を同定した。
• フレームワークにより、低ランク部分空間とスパース逆共分散の同時推定が可能となり、高次元設定下での一般化と解釈可能性が向上した。
• 実験的結果から、構造的ノイズや事前の依存関係が存在する状況において、RCAはPCAよりも柔軟な推論メカニズムを提供することが示された。