[論文レビュー] A Unified Probabilistic Model for Learning Latent Factors and Their Connectivities from High-Dimensional Data

Ricardo Pio Monti, Aapo Hyvärinen|arXiv (Cornell University)|May 24, 2018

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本論文は、高次元データから潜在的要因とその結合構造を同時に学習する統一された確率的モデルを提案する。非負かつ正規直交な因子負荷行列を用いて、変数間のコミュニティ構造を強制することで、変数の同時クラスタリングとグループ間結合構造の推定を可能にする。この手法は、複数の関連するクラス（例：fMRIにおける被験者）に対してもスケーラブルであり、標準的な要因分析やPCAよりも、尤度と実行時間の両面で優れている。

ABSTRACT

Connectivity estimation is challenging in the context of high-dimensional data. A useful preprocessing step is to group variables into clusters, however, it is not always clear how to do so from the perspective of connectivity estimation. Another practical challenge is that we may have data from multiple related classes (e.g., multiple subjects or conditions) and wish to incorporate constraints on the similarities across classes. We propose a probabilistic model which simultaneously performs both a grouping of variables (i.e., detecting community structure) and estimation of connectivities between the groups which correspond to latent variables. The model is essentially a factor analysis model where the factors are allowed to have arbitrary correlations, while the factor loading matrix is constrained to express a community structure. The model can be applied on multiple classes so that the connectivities can be different between the classes, while the community structure is the same for all classes. We propose an efficient estimation algorithm based on score matching, and prove the identifiability of the model. Finally, we present an extension to directed (causal) connectivities over latent variables. Simulations and experiments on fMRI data validate the practical utility of the method.

研究の動機と目的

• すべての変数間の直接推定が非現実的である高次元データにおける結合構造推定の課題に対処すること。
• 1つの確率的フレームワーク内で変数のクラスタリング（コミュニティ検出）と潜在的結合構造推定を統合すること。
• 共通するコミュニティ構造を持つが、個々のクラスに特有の結合パターンを許容する、複数の関連するクラス（例：被験者や条件）の共同モデリングを可能にすること。
• 非有向および有向の潜在的結合構造推定に対して、統計的に同定可能でスケーラブルな手法を提供すること。
• fMRIデータを用いた実証により、モデルの適合度と生物学的解釈可能性の両面で優れた性能を示すこと。

提案手法

• 因子分析を拡張し、潜在的要因間の共分散を完全（非対角）に許容するが、因子負荷行列を非負かつ正規直交に制約することで、コミュニティ所属を符号化する。
• 負荷行列の構造により、各観測変数が1つ以上のコミュニティに属することを保証し、非負の負荷値が解釈可能性を向上させる。
• 尤度最大化を完全に必要としない、スコアマッチングに基づく効率的な推定アルゴリズムを提案し、高速かつ安定したパラメータ推定を実現する。
• 潜在的ベイジアンネットワークを用いて因子の有向結合構造を拡張し、潜在的要因上での因果構造推定を可能にする。
• 複数のクラスに対しては、コミュニティ構造（負荷行列）をクラス間で共有しつつ、結合構造（因子共分散）は各クラスで異なることを許容する。
• 潜在的要因の数（k）のモデル選択は、ホールドアウトデータにおける交差検証により実施する。

実験結果

リサーチクエスチョン

• RQ1 統一された確率的モデルは、高次元データにおいて潜在的コミュニティ構造とコミュニティ間結合構造を同時に学習できるか？
• RQ2 複数の関連するクラスに共通するコミュニティ構造を強制しつつ、クラス固有の結合パターンを許容する方法は何か？
• RQ3 提案手法は、モデル適合度と計算効率の両面で、標準的因子分析、PCA、およびグラフィカルモデルを上回ることができるか？
• RQ4 本手法は、健常被験者とASD被験者との間で、生物学的に意味のある脳モジュールと結合性の違いを回復できるか？
• RQ5 提示された制約下でモデルは同定可能か？また、有向（因果的）結合構造へ拡張可能か？

主な発見

• 提案手法は、未観測のfMRIデータにおいて平均対数尤度 -163.76（±8.86）を達成し、非負PCA（-190.47）、因子分析（-193.89）、Gasso（-198.58）を著しく上回った。
• k=5の潜在的モジュールを用いた場合、推定された脳モジュールは空間的整合性と左右半球対称性が強く、既知の神経解剖学と一致した。
• ASD被験者では、前頭頭頂（モジュール2）と視覚的（モジュール1）または辺縁性・頭頂側頭（モジュール3）領域間の結合性が顕著に増加しており、既存の文献と整合的であった。
• ボンフェローニ補正を施したパーミュテーション検定により、ASD被験者で17本のエッジに有意なモジュール間結合性の上昇が確認され（p < 0.01）、生物学的妥当性を支持した。
• FOFCより著しく高速であり、観測変数の数（p）が増加するに従い、実行時間のスケーリングが良好に推移した。
• 単一クラス設定ではFOFCと同等の性能を示したが、複数クラス設定では、モデル適合度とスケーラビリティの両面で、すべてのベースラインを上回った。