[論文レビュー] Learning Gaussian Graphical Models with Observed or Latent FVSs

Ying D. Liu, Alan S. Willsky|arXiv (Cornell University)|Nov 10, 2013

Bayesian Modeling and Causal Inference参考文献 20被引用数 10

ひとこと要約

本稿は、小さなフィードバック頂点集合（FVS）を有するガウス graphical モデル（GGMs）のための効率的な構造学習アルゴリズムを提案する。これにより、FVS のサイズを k、ノード数を n とすると、O(k²n) 時間で正確な推論が可能となる。2つの手法を導入する：1つは、FVS が観測可能である場合に適用する Chow-Liu に基づくアルゴリズムで、計算量は O(kn² + n² log n) である。もう1つは、逆共分散行列の低ランク補正を交互に適用する手法で、1反復あたり同じ計算量を達成する。これにより、強力なモデル表現力とスケーラビリティを両立できる。

ABSTRACT

Gaussian Graphical Models (GGMs) or Gauss Markov random fields are widely used in many applications, and the trade-off between the modeling capacity and the efficiency of learning and inference has been an important research problem. In this paper, we study the family of GGMs with small feedback vertex sets (FVSs), where an FVS is a set of nodes whose removal breaks all the cycles. Exact inference such as computing the marginal distributions and the partition function has complexity $O(k^{2}n)$ using message-passing algorithms, where k is the size of the FVS, and n is the total number of nodes. We propose efficient structure learning algorithms for two cases: 1) All nodes are observed, which is useful in modeling social or flight networks where the FVS nodes often correspond to a small number of high-degree nodes, or hubs, while the rest of the networks is modeled by a tree. Regardless of the maximum degree, without knowing the full graph structure, we can exactly compute the maximum likelihood estimate in $O(kn^2+n^2\log n)$ if the FVS is known or in polynomial time if the FVS is unknown but has bounded size. 2) The FVS nodes are latent variables, where structure learning is equivalent to decomposing a inverse covariance matrix (exactly or approximately) into the sum of a tree-structured matrix and a low-rank matrix. By incorporating efficient inference into the learning steps, we can obtain a learning algorithm using alternating low-rank correction with complexity $O(kn^{2}+n^{2}\log n)$ per iteration. We also perform experiments using both synthetic data as well as real data of flight delays to demonstrate the modeling capacity with FVSs of various sizes.

研究の動機と目的

• ガウス graphical モデル（GGMs）におけるモデル表現力と計算効率のトレードオフを解消すること。
• FVS のノードがグラフ内のすべてのサイクルを解消するため、小さな FVS を有する GGM において正確な推論と最尤学習を可能にすること。
• FVS ノードが完全に観測可能または隠れ状態である場合に、スケーラブルな学習アルゴリズムを開発し、推論と学習の両方が tractable であることを保証すること。
• FVS を用いたモデルが O(log n) のサイズをとる場合、モデルパワーと計算効率の優れたバランスを達成できることを示すこと。

提案手法

• FVS が観測可能である GGM に対する構造学習アルゴリズムを提案。条件付き Chow-Liu アルゴリズムを用い、正確な最尤推定を可能にする。
• FVS を除去した残りのグラフが木構造をとることを活かし、O(k²n) の計算量でメッセージパッシングによる推論を実行する。
• FVS が隠れ状態の場合、構造学習問題を逆共分散行列の分解問題に定式化する。具体的には、木構造行列と低ランク行列の和に分解する。
• 木構造行列と低ランク行列の集合への交互射影を繰り返すアルゴリズムを導入。GGM の性質を活用することで、正確な計算が保証される。
• シュール補完公式を用いた効率的な行列逆行列計算式を用い、全逆共分散行列を明示的に構築せずに周辺分布を計算する。
• 冗長な計算を回避することで、Algorithm 6 を用いて学習プロセスを加速し、1反復あたりの計算量を O(kn² + n² log n) に低減する。

実験結果

リサーチクエスチョン

• RQ1 FVS ノードを含むすべてのノードが観測可能である場合、小さな FVS を有する GGM に対して正確な最尤学習が可能か。その計算量はどの程度か？
• RQ2 FVS ノードが隠れ状態である場合、どのように GGM を学習できるか。構造学習問題は、行列分解の観点でどのようになるか？
• RQ3 FVS を用いた GGM の学習アルゴリズムの計算量は何か。効率的な推論の統合によって、これを低減できるか？
• RQ4 サイズ O(log n) の擬似 FVS は、大規模モデルにおける近似的な推論において優れた実証的性能を示すか？
• RQ5 交互的な低ランク補正は、隠れ FVS モデルに対して、証明可能に効率的かつ正確な学習アルゴリズムを提供できるか？

主な発見

• 観測可能な FVS を有する場合、FVS が既知であれば O(kn² + n² log n) 時間で正確な最尤推定が達成され、FVS が未知でもサイズが有界であれば多項式時間で実行可能である。
• 隠れ FVS の場合、学習問題は逆共分散行列を木構造行列と低ランク行列に分解することに帰着され、これは交互射影法で解かれる。
• 交互的な低ランク補正アルゴリズムは、効率的な行列逆行列計算式を活用することで、1反復あたり O(kn² + n² log n) の計算量を達成する。
• 合成データおよびフライト遅延データを用いた実験結果から、O(log n) のサイズを有する FVS を用いたモデルが、モデル表現力と計算効率の優れたバランスを実現していることが示された。
• 隠れ Chow-Liu アルゴリズムの加速版は、観測ケースと同等の計算量を達成しており、実世界の応用におけるスケーラビリティと実用性を裏付けている。