[論文レビュー] Message Passing Stein Variational Gradient Descent

Jingwei Zhuo, Chang Liu+4 more|arXiv (Cornell University)|Nov 13, 2017

Markov Chains and Monte Carlo Methods参考文献 15被引用数 23

ひとこと要約

本稿では、マルコフブラケット上の局所的推論タスクにグローバルな推論問題を分解することで、高次元の確率的グラフィカルモデルにおける粒子の劣化を軽減する、パーティクルベースのベイジアン推論手法であるメッセージパッシング・スティン変分勾配降下法（MP-SVGD）を提案する。条件付き独立構造を活用し、再生核ヒルベルト空間における局所的カーネルを用いることで、MP-SVGDは強力な反発力維持を実現し、SVG D や他の手法と比較して、高次元モデルにおける粒子効率と近似精度に優れる。

ABSTRACT

Stein variational gradient descent (SVGD) is a recently proposed particle-based Bayesian inference method, which has attracted a lot of interest due to its remarkable approximation ability and particle efficiency compared to traditional variational inference and Markov Chain Monte Carlo methods. However, we observed that particles of SVGD tend to collapse to modes of the target distribution, and this particle degeneracy phenomenon becomes more severe with higher dimensions. Our theoretical analysis finds out that there exists a negative correlation between the dimensionality and the repulsive force of SVGD which should be blamed for this phenomenon. We propose Message Passing SVGD (MP-SVGD) to solve this problem. By leveraging the conditional independence structure of probabilistic graphical models (PGMs), MP-SVGD converts the original high-dimensional global inference problem into a set of local ones over the Markov blanket with lower dimensions. Experimental results show its advantages of preventing vanishing repulsive force in high-dimensional space over SVGD, and its particle efficiency and approximation flexibility over other inference methods on graphical models.

研究の動機と目的

• 次元の増加に伴い悪化するスティン変分勾配降下法（SVGD）における粒子の劣化問題に対処すること。
• 次元と反発力の間の負の相関が、粒子の崩壊に寄与することを分析すること。
• 解析的条件付き分布やパラメトリックな仮定を必要としない、高次元の確率的グラフィカルモデル（PGM）向けのスケーラブルで粒子効率の高い推論手法を開発すること。
• マーコフブラケット上での局所的推論問題にグローバルなKLダイバージェンス最小化を分解することで、近似の柔軟性と収束性を向上させること。

提案手法

• MP-SVGDは、PGMの条件付き独立構造を用いて、グローバルなKLダイバージェンス最小化を局所的推論問題に分解する。
• 各局所的マーコフブラケット内で、ベクターバリエートドRKHSにおける局所的カーネルを用いて、粒子の反復的更新を実行し、反発力を維持する。
• メッセージパッシングを活用して、グラフィカルモデル全体にわたる局所的更新を伝搬させ、低次元の局所的近傍領域における分散処理を可能にする。
• 各変数のマーコフブラケット上で局所的カーネルを定義することで、高次元空間においても反発力が有効に保たれる。
• 局所サブスペースにおけるカーネル化されたスティン差分を用いて、KLダイバージェンスを最小化することで、反復的に粒子の多様性と近似品質を向上させる。
• MP-SVGDはKLダイバージェンスの分解から導出されるが、グラフ構造のカーネルを用いる最近の手法とは異なる。

実験結果

リサーチクエスチョン

• RQ1 なぜSVG D は高次元空間で粒子の劣化を起こすのか？
• RQ2 SVG D における次元と反発力の関係は何か？
• RQ3 マーコフブラケット上での局所的推論は、高次元のPGMにおける粒子の多様性と近似精度を向上させられるか？
• RQ4 実世界のモデルにおいて、MP-SVGD はSVG D や他の推論手法と比較して、粒子効率と収束性においてどのように異なるか？
• RQ5 高次元においてグローバルカーネルが失敗する状況でも、局所的グラフィカル構造上のメッセージパッシングは、強い反発力を維持できるか？

主な発見

• 画像ノイズ除去（σₙ=10）において、MP-SVGDは50粒子でPSNR（32.09）とSSIM（0.905）を達成し、SVG D（PSNR: 31.58、SSIM: 0.894）を上回った。
• MP-SVGDは、200〜800粒子を必要とする補助的ギブスサンプリングと同等の性能を、わずか50粒子で達成し、優れた粒子効率を示した。
• SVG D における反発力は次元と負の相関を示すが、MP-SVGD は非負の反発力を維持しており、理論的分析を裏付ける結果となった。
• PAMRFノイズ除去タスクにおいて、MP-SVGD は複数のノイズレベルで、SVG D や補助的ギブスサンプリングを画像品質指標で上回った。
• 平均場メッセージパッシングを用いるMP-SVGD-mは、和積法を用いるMP-SVGD-sを一貫して上回り、推論安定性の観点から設計選択の妥当性を裏付けた。
• 本手法は、フィールズ・オブ・エキスパートスPRIORSを用いた実世界の応用、特に画像ノイズ除去においても有効であり、限られた粒子数で最先端の結果を達成した。