[論文レビュー] Variational Message Passing with Structured Inference Networks

Lin Wu, Nicolas Hubacher+1 more|arXiv (Cornell University)|Mar 15, 2018

Gaussian Processes and Bayesian Inference参考文献 19被引用数 21

ひとこと要約

本稿では、ハイブリッドなディープ確率的モデルにおける構造的推論ネットワーク、アンモタイズド推論、ネイチャラ・グラディエント更新を統合する変分的メッセージパッシングアルゴリズムを提案する。グラフィカル・モデルの構造を反映する推論ネットワークを設計することで、解釈可能性を保ちつつ、高速でスケーラブルで効率的な推論が可能となり、合成データおよび実世界のデータセットにおいて先行手法を上回る性能を発揮する。

ABSTRACT

Recent efforts on combining deep models with probabilistic graphical models are promising in providing flexible models that are also easy to interpret. We propose a variational message-passing algorithm for variational inference in such models. We make three contributions. First, we propose structured inference networks that incorporate the structure of the graphical model in the inference network of variational auto-encoders (VAE). Second, we establish conditions under which such inference networks enable fast amortized inference similar to VAE. Finally, we derive a variational message passing algorithm to perform efficient natural-gradient inference while retaining the efficiency of the amortized inference. By simultaneously enabling structured, amortized, and natural-gradient inference for deep structured models, our method simplifies and generalizes existing methods.

研究の動機と目的

• ディープラーニングと確率的グラフィカルモデル（PGM）を統合し、柔軟で解釈可能なモデルを構築する挑戦に応えること。
• ディープラーニングで一般的な確率的勾配法や、PGMで一般的な共役指数型分布族に依存する既存の推論アルゴリズムの限界を克服すること。
• 1つのアルゴリズム内でアンモタイズド推論、構造的推論、ネイチャラ・グラディエント更新を統合する統一的推論フレームワークを開発すること。
• ジョンソンら（2016）の先行研究を単純化・一般化し、構造的推論ネットワークが高速なアンモタイズド推論を可能にする条件を導出すること。
• 非共役因子を含むモデルにおいても、構造的推論ネットワーク内での共役近似を用いることで、効果的な推論を可能にすること。

提案手法

• 変分オートエンコーダー（VAE）の推論ネットワークアーキテクチャに、生成モデルの条件付き独立構造を反映させる構造的推論ネットワーク（SINs）を提案する。
• SINsが標準VAEと同様に高速なアンモタイズド推論を可能にする2つの十分条件を導出する。これは、変分後退がモデルの条件付き独立構造と一貫して因数分解されることを保証することで実現する。
• カン & リン（2017）の最近のVMP手法を統合し、深層ネットワーク部のための確率的勾配と、PGM部のためのネイチャラ・グラディエント更新を自動的に計算するメッセージパッシングアルゴリズムを導出する。
• PGM部に対してネイチャラ・グラディエント更新を適用することで収束性と安定性を向上させつつ、深層部についてはアンモタイズド推論の効率性を維持する。
• 深層ネットワークとPGMを統合したハイブリッドモデル、例えば混合モデルや状態空間モデルに、得られたSAN（構造的・アンモタイズド・ネイチャラ・グラディエント）アルゴリズムを適用する。
• 推論ネットワーク内での共役ガウス近似を用いることで、非共役因子（例：スチューデントのt分布）を含むモデルの推論が有効に行えることを実証する。

実験結果

リサーチクエスチョン

• RQ1 標準VAEと同様に、ハイブリッドなディープ・ストラクチャードモデルにおけるアンモタイズド推論を可能にする構造的推論ネットワークを設計できるか？
• RQ2 深層ネットワークとPGMを統合するモデルにおいて、構造的推論ネットワークがアンモタイズド推論の効率性をどのように保つのか、その条件は何か？
• RQ3 このようなハイブリッドモデルにおいて、統一的変分推論アルゴリズムが同時に構造的・アンモタイズド・ネイチャラ・グラディエント更新をサポートできるか？
• RQ4 推論ネットワーク内で共役近似を用いる場合、非共役因子（例：スチューデントのt分布）を含むモデルに対して、提案手法はどのように性能を発揮するか？
• RQ5 SVAEなどの先行最先端手法と比較して、SANアルゴリズムは同等またはより優れた性能を達成するか、かつ推論フレームワークを単純化できるか？

主な発見

• ピンホイールおよびオートデータセットの両方において、SANはSVAEよりも収束が早く、収束時には同等の性能を達成する。
• ピンホイールデータセットでは、潜在変数にガウス・ミックス・モデル（GMM）とスチューデントのt分布混合モデル（TMM）を用いたSANが、GMMを上回り、外れ値に対して高いロバストネスを示す。特にTMMは70%の外れ値率でも性能を維持する。
• ピンホイールデータの70%が高分散ガウスノイズで汚染された状況でも、潜在TMMに基づくSANモデルは、10%の外れ値でのみ学習したGMMベースのSANモデルよりも顕著に低いテストMSEを達成する。
• VAEは明示的なクラスタリング機構がないため、解釈可能なクラスタを学習できないが、SANは生成されたサンプルから明確で意味的に整合性のあるクラスタを効果的に学習する。
• 本手法は共役モデルに限定されない：真のモデルに非共役因子（例：スチューデントのt分布）が含まれても、共役SINが効果的な推論を可能にし、ロバストネスが向上する。
• SANアルゴリズムの実装はGitHubで公開されており、再現性とフレームワークのさらなる拡張が可能である。