[論文レビュー] Copula Variational Bayes inference via information geometry

Viet Hung Tran|arXiv (Cornell University)|Mar 29, 2018

Bayesian Modeling and Causal Inference参考文献 42被引用数 5

ひとこと要約

本稿では、従来の変分ベイズにおける独立性仮定を緩和し、コプゥラを用いて依存構造をモデル化することで、一般化されたフレームワークであるコプゥラ変分ベイズ（CVB）を提案する。情報幾何を用いて、真の後方分布をコプゥラ制約多様体上に反復的に射影することで、拡張された階層的混合モデルを介してグローバル最適な近似を達成し、相関のあるガウス・ミックスチャネル・モデルにおいて、VB、EM、k-meansよりも優れた分類精度を示すシミュレーション結果を得た。

ABSTRACT

Variational Bayes (VB), also known as independent mean-field approximation, has become a popular method for Bayesian network inference in recent years. Its application is vast, e.g. in neural network, compressed sensing, clustering, etc. to name just a few. In this paper, the independence constraint in VB will be relaxed to a conditional constraint class, called copula in statistics. Since a joint probability distribution always belongs to a copula class, the novel copula VB (CVB) approximation is a generalized form of VB. Via information geometry, we will see that CVB algorithm iteratively projects the original joint distribution to a copula constraint space until it reaches a local minimum Kullback-Leibler (KL) divergence. By this way, all mean-field approximations, e.g. iterative VB, Expectation-Maximization (EM), Iterated Conditional Mode (ICM) and k-means algorithms, are special cases of CVB approximation. For a generic Bayesian network, an augmented hierarchy form of CVB will also be designed. While mean-field algorithms can only return a locally optimal approximation for a correlated network, the augmented CVB network, which is an optimally weighted average of a mixture of simpler network structures, can potentially achieve the globally optimal approximation for the first time. Via simulations of Gaussian mixture clustering, the classification's accuracy of CVB will be shown to be far superior to that of state-of-the-art VB, EM and k-means algorithms.

研究の動機と目的

• 後方分布近似における厳密な独立性仮定を緩和することで、平均場変分ベイズ（VB）の限界を克服すること。
• VBを、確率的モデル内の複雑な依存関係を捉えることのできる、より広範なコプゥラベースの近似クラスの特別な場合として一般化すること。
• 拡張されたCVBネットワークとしての局所的CVB近似の重み付き混合として構築することで、ベイジアンネットワークにおけるグローバル最適な推論フレームワークを構築すること。
• 相関のあるデータに対して、シミュレーションを通じてCVBがVB、EM、k-meansといった最先端の平均場手法よりも顕著に優れた正確性と収束性を示すことを実証すること。

提案手法

• 関数の積として表される周辺分布にコプゥラ密度を介して依存構造を組み込むことで、関連する後方分布をコプゥラベースの変分近似として定式化。これにより、柔軟な依存構造のモデル化が可能となる。
• 情報幾何を用いて、Bregman散発の最小化を適用し、反復的VB更新をコプゥラ制約多様体への射影として解釈する。
• より単純なCVB近似の階層的混合として、拡張されたCVBネットワークを導出。これにより、局所的最適解の制限を超えたグローバル最適化が可能となる。
• Sklarの定理を用いて、真の関連分布をコプゥラと周辺分布に分解。これにより、コプゥラがすべての変数間の依存関係を捉えることが保証される。
• 反復的最適化を用いて、固定されたコプゥラ構造を維持したまま周辺分布を更新。真の後方分布とのKL発散を最小化する。
• 異なるコプゥラ形態を探索し、相関の増加やクラスタの分離度に対するロバストネスを評価するために、複数のCVBバリアント（例：CVB₁、CVB₂、CVB₃）を導入。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズにおける独立性制約を、コプゥラによる柔軟で構造的な依存関係モデリングを可能にする一般化が可能か？
• RQ2 変分推論におけるコプゥラの使用が、平均場手法と比較して、相関のある確率的モデルにおける近似品質をどのように向上させるか？
• RQ3 VBにおける反復的射影プロセスを、コプゥラ制約多様体へのBregman射影として幾何学的に再解釈できるか？
• RQ4 局所的CVB近似の重み付き混合として構築された拡張CVBネットワークは、平均場手法が失敗する状況においても、グローバル最適な後方分布近似を達成できるか？
• RQ5 CVBは、相関のあるガウス・ミックスチャネル・モデルにおけるクラスタリング精度において、VB、EM、k-meansをどの程度上回るか？

主な発見

• 相関のあるガウス・ミックスチャネル・データにおいて、クラスタ間距離がクラスタ分散を上回る場合、CVBは平均90%の正しく分類された例を達成する一方で、VB、EM、k-meansは80%にとどまる。
• CVB₂およびCVB₃バリアントは、相関が増加しても高い性能を維持するが、ヒューリスティックなCVB₁は劣化を示し、コプゥラ形式の選択に感受性があることが判明。
• 局所的CVB近似の重み付き混合として構築された拡張CVBネットワークは、初めてとしてグローバル最適な後方分布近似を達成し、平均場手法の局所的最適解の制限を克服した。
• VB、EM、ICM、k-meansといった標準的な平均場アルゴリズムは、特定のコプゥラ構造（例：独立性を表す一様コプゥラ）の下で、提案されたCVBフレームワークの特別な場合として示された。
• 複数のシミュレーション設定において、CVBのKL発散および平均二乗誤差（MSE）は、VB、EM、k-meansよりも一貫して低く、近似品質の向上が確認された。
• 理論的分析により、CVBが真の後方分布へのBregman発散を、コプゥラ制約多様体上への反復的射影によって最小化することを確認。これにより、本手法の幾何的基盤が裏付けられた。