[論文レビュー] Learning to Discover Sparse Graphical Models

Eugene Belilovsky, Kyle Kastner+2 more|arXiv (Cornell University)|May 20, 2016

Bayesian Modeling and Causal Inference被引用数 13

ひとこと要約

本論文では、合成データ上でニューラルネットワークを訓練して、経験的分散共分散行列からグラフ構造へマッピングする深層学習フレームワークを提案する。この手法は、実世界の遺伝学および脳イメージングデータにおいて、従来の解析的手法（例：グラフィカルラッソ）を上回り、優れた精度と高速性を達成するとともに、訓練時に見なかったデータ分布およびスパarsityレベルにも一般化可能である。

ABSTRACT

We consider structure discovery of undirected graphical models from observational data. Inferring likely structures from few examples is a complex task often requiring the formulation of priors and sophisticated inference procedures. Popular methods rely on estimating a penalized maximum likelihood of the precision matrix. However, in these approaches structure recovery is an indirect consequence of the data-fit term, the penalty can be difficult to adapt for domain-specific knowledge, and the inference is computationally demanding. By contrast, it may be easier to generate training samples of data that arise from graphs with the desired structure properties. We propose here to leverage this latter source of information as training data to learn a function, parametrized by a neural network that maps empirical covariance matrices to estimated graph structures. Learning this function brings two benefits: it implicitly models the desired structure or sparsity properties to form suitable priors, and it can be tailored to the specific problem of edge structure discovery, rather than maximizing data likelihood. Applying this framework, we find our learnable graph-discovery method trained on synthetic data generalizes well: identifying relevant edges in both synthetic and real data, completely unknown at training time. We find that on genetics, brain imaging, and simulation data we obtain performance generally superior to analytical methods.

研究の動機と目的

• 限られたサンプルからの高次元でスパースな無向グラフィカルモデルの構造同定の課題に取り組む。
• 正則化付き最尤推定法の限界（分野特有の事前知識の組み込みの難しさ、計算コストの高さなど）を克服する。
• データ尤度の最適化ではなく、エッジ構造の回復を直接最適化する柔軟で学習可能な関数を構築する。
• 訓練時に見なかった実世界のデータ分布（多様なスパarsityパターンやネットワークトポロジーを含む）にも一般化可能な仕組みを提供する。
• 実際の神経画像およびゲノムデータセットにおいて、グラフィカルラッソやMCMCベースの手法と比較して、性能と速度の両面で向上を実現する。

提案手法

• 畳み込みニューラルネットワークを用い、経験的分散共分散行列から推定されたグラフ構造（エッジインジケータをターゲットとして）をマッピングする。
• 訓練データは、制御されたスパarsityと構造を持つ既知のスパースグラフィカルモデルから生成された合成データセットである。
• 損失関数は、データ尤度の最適化ではなく、エッジ構造回復の最適化を明示的に設計しており、F1やAUCといった性能指標の直接最適化が可能である。
• 正則化ペナルティの手動設計を避けるために、データ生成プロセスを通じてスパarsityおよび構造的事前知識を暗黙的に学習する。
• ターゲットデータ分布への転移学習およびファインチューニングが可能で、さらなる性能向上を可能にする。
• 高速な推論速度を活かし、交差検証およびリサンプリングによる不確実性推定が可能である。

実験結果

リサーチクエスチョン

• RQ1 合成データで訓練された深層ニューラルネットワークは、実世界のスパースグラフィカルモデル発見タスクに一般化可能か？
• RQ2 学習可能なエッジ推定器は、実際の神経画像およびゲノムデータにおいて、グラフィカルラッソなどの解析的手法と比較して、精度と速度の面で優れているか？
• RQ3 従来の手法が困難に感じる小サンプル状態でも、学習済みモデルは安定的かつ生物学的に妥当なエッジを回復できるか？
• RQ4 訓練データに存在しないグラフ構造およびスパarsityレベルに対しても、どの程度一般化可能か？
• RQ5 高速な推論とリサンプリングを活かして、効率的なモデル選択と不確実性の定量化が可能か？

主な発見

• 提案手法であるDeepGraphは、実世界の遺伝学および脳イメージングデータにおいて、最先端の性能を達成し、グラフィカルラッソや他のベースライン手法を上回るエッジ選択の正確性を示した。
• ABIDE自閉症およびコントロールデータセットにおいて、DeepGraphはコントロール群でSpearman相関0.57±0.005、自閉症群で0.48±0.004を達成し、グラフィカルラッソ（0.21±0.003および0.25±0.003）を顕著に上回った。
• 50回の試行にわたる安定性評価において、DeepGraphは他の手法（グラフィカルラッソ、Ledoit-Wolfeなど）と比較して、エッジ選択の分散が低く、優れた安定性を示した。
• 訓練分布外のデータ分布（小世界構造や非ラプラシアン構造を含む）に対しても、良好な一般化性能を示した。
• 小サンプル状態（n=35）において、大規模サンプル（n=368）のグラフィカルラッソ解と一致する重要なエッジを効果的に回復できた。これは、ロバストネスを示している。
• DeepGraphの推論速度は、MCMCや他の反復的手法よりも顕著に高速であり、リサンプリングによる効率的な不確実性推定が可能になった。