[論文レビュー] Combining Generative and Discriminative Models for Hybrid Inference

Victor García Satorras, Zeynep Akata+1 more|arXiv (Cornell University)|Jun 1, 2019

Gaussian Processes and Bayesian Inference被引用数 28

ひとこと要約

本稿では、グラフィカルモデルと学習された逆写像をグラフニューラルネットワーク構造と反復推論を用いて統合するハイブリッド推論モデルを提案する。これにより、生成的推論と判別的推論の自動的バランスが可能となり、カオス的システム（たとえばノイズの多いローレンツアトラクタ）における軌道推定が著しく向上する。

ABSTRACT

A graphical model is a structured representation of the data generating process. The traditional method to reason over random variables is to perform inference in this graphical model. However, in many cases the generating process is only a poor approximation of the much more complex true data generating process, leading to suboptimal estimation. The subtleties of the generative process are however captured in the data itself and we can ``learn to infer'', that is, learn a direct mapping from observations to explanatory latent variables. In this work we propose a hybrid model that combines graphical inference with a learned inverse model, which we structure as in a graph neural network, while the iterative algorithm as a whole is formulated as a recurrent neural network. By using cross-validation we can automatically balance the amount of work performed by graphical inference versus learned inference. We apply our ideas to the Kalman filter, a Gaussian hidden Markov model for time sequences, and show, among other things, that our model can estimate the trajectory of a noisy chaotic Lorenz Attractor much more accurately than either the learned or graphical inference run in isolation.

研究の動機と目的

• 純粋な生成的モデルが複雑なデータ生成プロセスを捉えることの制限を解消すること。
• 観測値から潜在変数への直接写像を学習することで、データ駆動型のインサイトを活用すること。
• クロスバリデーションを用いて、グラフィカル推論と学習推論の両方をバランスさせる統合推論フレームワークを設計すること。
• カオス的ローレンツアトラクタのような挑戦的な逐次的システムにおける推定精度を向上させること。

提案手法

• モデルは、グラフィカルモデル（例：カルマンフィルタ）と、グラフニューラルネットワークとして構造化された学習された逆モデルを統合する。
• 推論は、潜在変数推定値の改善を図るために、再帰的ニューラルネットワークアーキテクチャを用いて反復的に行われる。
• ハイブリッドシステムは、クロスバリデーションを用いて、グラフィカル推論と学習推論のコンポonent間の最適なトレードオフを自動的に決定する。
• 学習された逆モデルは、生成的モデルに完全に表現されていないデータの微細なパターンを捉える。
• フレームワークは、時系列推論のためのカルマンフィルタのガウス型隠れマルコフモデルに適用される。

実験結果

リサーチクエスチョン

• RQ1 グラフィカル推論と学習推論を統合することで、複雑な力学的システムにおける推定精度が向上するか？
• RQ2 生成的推論と判別的推論の相対的寄与度を最適にバランスさせる方法は何か？
• RQ3 ハイブリッドモデルは、カオス的時系列設定において、単独のグラフィカル推論または学習推論を上回るか？
• RQ4 学習された逆写像は、生成的モデルの仮定の不正確さをどの程度是正できるか？

主な発見

• ノイズの多いカオス的ローレンツアトラクタにおいて、ハイブリッドモデルは、純粋なグラフィカル推論または学習推論単体よりも著しく高い軌道推定精度を達成する。
• 学習された逆写像の統合により、生成的モデルが見逃すデータの微細な特徴が捉えられ、ノイズやモデル不適合に対するロバストネスが向上する。
• クロスバリデーションにより、グラフィカル推論と学習推論のコンポーネントのバランスが自動的かつ効果的に実現される。
• 推論アルゴリズムの再帰的構造により、潜在変数推定値の反復的改善が可能となり、収束性と精度が向上する。