[論文レビュー] Gaussian Approximation of Collective Graphical Models

Liping Liu, Daniel Sheldon+1 more|arXiv (Cornell University)|May 20, 2014

Bayesian Methods and Mixture Models参考文献 7被引用数 5

ひとこと要約

本稿では、集団的グラフィカルモデル（CGM）に対するガウス近似を提案し、人口規模が大きくなるに従い、多変量ガウス分布に漸近的に収束する（GCGM）ものである。この方法により、元のモデルの条件付き独立構造を保持しつつ、ガウス観測データに対して効率的な閉形式推論が可能となり、非ガウス観測には期待誤差法（EP）を適用することで、MAP近似と同等の精度を得つつ、大規模問題において6倍以上の高速化を達成した。

ABSTRACT

The Collective Graphical Model (CGM) models a population of independent and identically distributed individuals when only collective statistics (i.e., counts of individuals) are observed. Exact inference in CGMs is intractable, and previous work has explored Markov Chain Monte Carlo (MCMC) and MAP approximations for learning and inference. This paper studies Gaussian approximations to the CGM. As the population grows large, we show that the CGM distribution converges to a multivariate Gaussian distribution (GCGM) that maintains the conditional independence properties of the original CGM. If the observations are exact marginals of the CGM or marginals that are corrupted by Gaussian noise, inference in the GCGM approximation can be computed efficiently in closed form. If the observations follow a different noise model (e.g., Poisson), then expectation propagation provides efficient and accurate approximate inference. The accuracy and speed of GCGM inference is compared to the MCMC and MAP methods on a simulated bird migration problem. The GCGM matches or exceeds the accuracy of the MAP method while being significantly faster.

研究の動機と目的

• 集団的グラフィカルモデル（CGM）において、集団的カウントデータしか観測されない場合の正確な推論の非可解性に対処すること。
• 条件付き独立構造を維持し、効率的な計算を可能にするスケーラブルなCGM推論手法の開発。
• 大規模問題において、Gaussian-approximation（GCGM）の精度と効率を、既存のMAPおよびMCMC手法と比較すること。
• GCGM近似が大規模集団の極限において、漸近的に有効であり、CGMの構造的性質を保持することを示すこと。

提案手法

• 集団サイズN → ∞ のとき、CGMの漸近的分布が多変量ガウス分布（GCGM）に収束することを示し、同一の分離性質により条件付き独立構造を保持する。
• 個々のモデルパラメータから導かれる平均および分散を用いて、CGMの十分統計量を多変量正規分布で近似することでGCGMを構築する。
• ガウス観測データに対して閉形式推論を実施し、精度行列の構造を活用して条件付き分布の効率的計算を可能にする。
• 期待誤差法（EP）を非ガウス観測モデル（例：ポアソン分布）に適用し、現実的なノイズ仮定下でも高精度な推論を可能にする。
• 計算コストの大部分を占めるノードカウント推定ステップに対して、ラプラス近似を最適化することでGCGM推論を最適化する。
• パラメータ学習のためのEMフレームワークにGCGMを統合し、Eステップの推論にGCGMを用いる。

実験結果

リサーチクエスチョン

• RQ1 集団サイズが大きくなるにつれて、CGMの分布は多変量ガウス分布に収束するか？
• RQ2 ガウス近似は元のCGMの条件付き独立構造を保持できるか？
• RQ3 ポアソン分布に従うカウントのような非ガウス観測モデルに対し、GCGMはどの程度の性能を示すか？
• RQ4 大規模設定において、GCGMの精度と速度はMAPおよびMCMC推論と比べてどうか？
• RQ5 GCGMはMAP近似と比較して、推論結果の分散が低いか？

主な発見

• GCGMは、人口規模が大きくなるにつれて、MAP近似と同等またはそれ以下の相対的推論誤差を達成した。
• 49セルの鳥類移動問題において、GCGM法の相対誤差は 0.020 ± 0.003 を維持したが、MAP法の誤差は 0.113 ± 0.015 まで上昇した。
• 全テスト問題サイズ（L = 16 から 144）において、GCGM法はMAP近似の6倍以上高速であった。
• 特に大規模問題において、GCGM法はMAP法と比較して顕著に低い推論結果の分散を示した。
• パラメータ学習において、十分なEM反復後、GCGMはMAPの精度を同等または上回ったが、小規模集団サイズでは過学習が発生した。
• GCGMの推論時間はノードカウント推定に大きく依存しており、その中でラプラス最適化が最も計算コストが高かった。