[論文レビュー] Learning to Discover Probabilistic Graphical Model Structures

Eugene Belilovsky, Kyle Kastner+2 more|arXiv (Cornell University)|May 6, 2016

Bayesian Modeling and Causal Inference参考文献 20被引用数 1

ひとこと要約

この論文は、合成データ上でニューラルネットワークを訓練することで、従来の解析的事前分布を回避し、経験的分散共分散行列から確率的グラフィカルモデル構造を発見する深層学習アプローチを提案する。この手法は、グラフィカルラソなどの解析的手法と比較して競争的または優れた性能を達成し、著しく高速な推論を実現し、遺伝学、脳画像、シミュレーションの実世界データにも良好に一般化する。

ABSTRACT

In this work we consider structure discovery of undirected graphical models from observational data. Inferring likely structures from few examples is a complex task often requiring formulating priors and sophisticated inference procedures. In the setting of Gaussian Graphical Models (GGMs) a popular approach to formulating an estimator is with a penalized maximum likelihood objective on the precision matrix. This objective is often difficult to design to specifically fit ones priors and the graph structure recovery is often not explicitly possible to embed in the objective, moreover incorporating any additional assumptions often requires a great deal of research effort. By contrast, it may be easier to generate samples of data that are arise from graphs with the desired properties. We propose here to leverage this latter source of information in order to learn a function that maps from empirical covariance matrices to estimated graph structures. This learned function brings two benefits: it implicitly models the desired structure or sparsity properties to form suitable priors, and it can more directly be tailored to the specific problem of edge structure discovery. We apply this framework to several critical real world problems in structure discovery and show that it can be competitive to standard approaches such as graphical lasso, at a fraction of the execution speed. We use deep neural networks to parametrize our estimators. Experimentally, our learn able graph discovery method trained on synthetic data generalizes well to different data: identifying relevant edges in real data, completely unknown at training time. We find that on genetics, brain imaging, and simulation data we obtain competitive (and often superior) performance, compared with analytical methods.

研究の動機と目的

• 無向グラフィカルモデル、特にガウス・グラフィカル・モデル（GGMs）における構造同定の課題に対処すること。従来のペナルティ付き尤度法は、特定の構造的事前分布に合わせるのが難しい。
• グラフィカルラソのような解析的推定器に、スパarsityや特定のグラフ特性といった構造的仮定を組み込むことの難しさを克服すること。
• スパarsityや特定のトポロジーなど望ましい構造的事前分布を、目的関数における明示的正則化ではなく、既知のグラフ特性を持つ合成データ上で学習することで、暗黙的に学習するデータ駆動型アプローチを開発すること。
• 経験的分散共分散行列からグラフ構造への反復的最適化の代わりに、学習された微分可能な写像を用いることで、より高速かつ柔軟なグラフ構造同定を可能にすること。

提案手法

• 深層ニューラルネットワークを用いて、経験的分散共分散行列から推定されたグラフ構造への関数をパrameter化する。
• スパarsityや特定のトポロジーなどの望ましい特性を反映できるように制御可能な、真のグラフ構造が分かっている大規模な合成データ上でネットワークを訓練する。
• 目的関数における明示的正則化ではなく、データ分布を通じてネットワークが構造的事前分布を暗黙的に学習できる能力を活用する。
• 訓練中に未見の実世界データに適用する際、経験的分散共分散行列を入力として与え、直接的にエッジ構造を予測する。
• 合成検証セット上でエッジ予測精度を最適化するため、エンドツーエンドの訓練と微分可能な損失関数を用いる。
• 遺伝子ネットワーク推定、脳機能結合マッピング、シミュレーションベースの構造回復などの下流タスクに、学習済みモデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 合成データ上で訓練された深層ニューラルネットワークは、実世界のデータにおける無向グラフィカルモデル構造同定に一般化可能か？
• RQ2 グラフィカルラソなどの解析的手法と比較して、学習済みグラフ同定手法の正確性と速度はどのように異なるか？
• RQ3 明示的正則化なしに、スパarsityや特定のトポロジカルパターンといった構造的事前分布をどの程度暗黙的に学習できるか？
• RQ4 遺伝学や脳画像のような、トレーニングデータに存在しないデータドメインに適用した場合でも、モデルは強力な一般化性能を維持するか？

主な発見

• 提案手法は、遺伝学、脳画像、シミュレーションの実世界データセットにおいて、グラフィカルラソなどの解析的手法と比較して競争的または優れた性能を達成する。
• 訓練中に完全に未知であった実データに対しても、効果的に一般化され、未見のドメインへのゼロショット一般化が強く示された。
• 従来のアプローチの数分のの一の実行速度で動作し、正確性を損なわず高速な推論を実現する。
• 深層学習ベースの推定器は、合成データのトレーニングを通じて、スパarsityや結合性パターンといった構造的事前分布を暗黙的に学習し、手動による正則化設計の必要性を排除する。
• 高次元の生物学的および神経画像データを含む多様なデータタイプにおいても性能が安定しており、広範な適用可能性を示している。