[論文レビュー] Stein Variational Message Passing for Continuous Graphical Models

Dilin Wang, Zhe Zeng+1 more|arXiv (Cornell University)|Nov 20, 2017

Markov Chains and Monte Carlo Methods被引用数 6

ひとこと要約

本稿では、連続的グラフィカルモデルにおける分散推論アルゴリズムとして、Stein Variational Message Passing (SVMP) を提案する。SVMP は、各ノードのマルコフブラケット上に定義された局所的カーネル関数を用いることで、Stein Variational Gradient Descent (SVGD) を拡張したものである。勾配情報を利用し、グラフィカル構造を活用することで、MCMC やパーティクル・メッセージ・パッシング、および通常の SVGD と比較して、特に高次元設定下で優れたサンプル効率性と精度を達成する。

ABSTRACT

We propose a novel distributed inference algorithm for continuous graphical models, by extending Stein variational gradient descent (SVGD) to leverage the Markov dependency structure of the distribution of interest. Our approach combines SVGD with a set of structured local kernel functions defined on the Markov blanket of each node, which alleviates the curse of high dimensionality and simultaneously yields a distributed algorithm for decentralized inference tasks. We justify our method with theoretical analysis and show that the use of local kernels can be viewed as a new type of localized approximation that matches the target distribution on the conditional distributions of each node over its Markov blanket. Our empirical results show that our method outperforms a variety of baselines including standard MCMC and particle message passing methods.

研究の動機と目的

• 従来のメッセージ・パッシング法や変分推論法の限界を克服する、連続的グラフィカルモデルのための分散型推論アルゴリズムの開発。
• マルコフブラケット構造を活用することで、高次元連続モデルにおける次元の呪いを緩和すること。
• 勾配情報をパーティクルベース推論に組み込み、勾配フリー手法と比較してサンプル効率を向上させること。
• SVGD をメッセージ・パッシングフレームワークに拡張し、分散計算と局所的依存関係モデリングを維持すること。
• MCMC やパーティクル・メッセージ・パッシングを含む既存のベースラインと比較して、複雑で非ガウス分布のモデルにおいて、より高い精度と収束性を達成すること。

提案手法

• 各ノードのマルコフブラケット上に定義された局所的カーネル関数を用いるように SVGD を変更することで、分散型推論アルゴリズムを提案する。
• 再生核ヒルベルト空間 (RKHS) 内の速度場更新を用い、繰り返しパーティクルを更新することで、ターゲット分布との KL 発散を最小化する。
• 各ノードごとに、そのノードのマルコフブラケットにのみ依存する局所的カーネル関数を定義し、分散計算を可能にするとともに、高次元依存関係を軽減する。
• 理論的分析により、局所的カーネルの使用が、各ノードのマルコフブラケット上の条件付き分布に関してターゲット分布と一致する決定的近似に対応することを示す。
• 各パーティクルが事後分布からのサンプルを表すパーティクルベース近似を採用し、勾配情報に基づく変換により更新する。
• 歪んだ事後分布において訓練を安定化させるために、対数分散パラメータにクリッピングを適用する。

実験結果

リサーチクエスチョン

• RQ1 SVGD は、連続的グラフィカルモデルにおける分散型・メッセージ・パッシング推論をサポートするように拡張可能か？
• RQ2 マルコフブラケット上に定義された局所的カーネルを用いることで、高次元設定下でのサンプル効率性とスケーラビリティが向上するか？
• RQ3 非ガウス的・連続的モデルにおいて、勾配ベースパーティクル推論は、勾配フリーのパーティクル・メッセージ・パッシングや MCMC と比較してどのように性能を発揮するか？
• RQ4 局所的カーネル関数は、グローバルカーネルと比較して、近似精度と計算効率のバランスをより良く実現できるか？
• RQ5 提案手法は、通常の SVGD やランジュヴィンダイナミクスと比較して、複雑な実世界の推論タスクにおいて優れた性能を示すか？

主な発見

• d=100 のセンサーネットワークにおいて、グラフィカル SVGD は MCMC、パーティクル・メッセージ・パッシング、および通常の SVGD と比較して、事後平均推定においてすべてのベースラインを上回る性能を示した。
• d=9 のセンサーネットワークにおいて、グラフィカル SVGD はマルチモーダルな事後分布を正しく特定したが、D-PMP や T-PMP は事後分布が過度に集中しすぎており、複数のモードを捉えられなかった。
• PriceUCI データセットを用いたクラウドソーシング応用において、グラフィカル SVGD は、SVGD（通常）やランジュヴィンダイナミクスと比較して、最小の平均二乗誤差を達成した。
• ランジュヴィンダイナミクスは、最適なステップサイズチューニングを行っても、高次元で歪んだ事後分布では収束が遅く、性能が著しく劣った。
• 従来のパーティクル・メッセージ・パッシングがマルチモーダル構造を捉えられない非ガウス的連続的グラフィカルモデルにおいて、本手法は優れた安定性と精度を示した。
• 実験的結果により、局所的カーネルの使用が、特に高次元推論タスクにおいてサンプル効率性と収束速度の両面で向上することが確認された。