[論文レビュー] Approximate inference with Wasserstein gradient flows

Charlie Frogner, Tomaso Poggio|arXiv (Cornell University)|Jun 12, 2018

Model Reduction and Neural Networks参考文献 24被引用数 10

ひとこと要約

本論文は、再生カーネルヒルバート空間（RKHS）におけるワサーティン勾配流れを用いて、非線形拡散過程の離散化フリーな近似推論手法を提案する。時間離散化されたワサーティン勾配流れに対する正則化された双対問題を定式化することで、ドメインの離散化を回避し、スケーラブルで高次元の推論を可能にし、マルチモーダルな事後分布において最先端のフィルタリング手法と同等の性能を達成する。

ABSTRACT

We present a novel approximate inference method for diffusion processes, based on the Wasserstein gradient flow formulation of the diffusion. In this formulation, the time-dependent density of the diffusion is derived as the limit of implicit Euler steps that follow the gradients of a particular free energy functional. Existing methods for computing Wasserstein gradient flows rely on discretization of the domain of the diffusion, prohibiting their application to domains in more than several dimensions. We propose instead a discretization-free inference method that computes the Wasserstein gradient flow directly in a space of continuous functions. We characterize approximation properties of the proposed method and evaluate it on a nonlinear filtering task, finding performance comparable to the state-of-the-art for filtering diffusions.

研究の動機と目的

• 既存の手法がドメインの離散化に制限を受ける高次元の拡散過程における近似推論の課題に対処すること。
• グリッドベースの状態空間の離散化を回避するスケーラブルな推論フレームワークを構築すること。
• 連続関数空間を用いて非線形拡散過程における時間発展する確率密度の正確な近似を可能にすること。
• 提案手法の理論的および実験的性能を、マルチモーダルな事後分布を伴う非線形フィルタリングタスクにおいて特徴づけること。

提案手法

• 正則化されたワサーティン距離と自由エネルギー汎関数を最小化する変分問題としてワサーティン勾配流れを定式化する。
• 滑らかで強凸な正則化子を用いて、時間離散化された勾配流れの双対定式を導出することで、最適化を実行可能にする。
• ドメインの離散化を回避し、高次元推論を可能にする再生カーネルヒルバート空間（RKHS）で直接操作する。
• カーネルベースの関数表現を用いて、RKHS関数上の有限次元最適化によって双対問題を近似する。
• モンテカルロサンプリングを用いて正則化された目的関数を近似する確率的最適化を適用する。
• 前向き拡散による予測密度の繰り返し更新と尤度の乗算を通じて、非線形フィルタリングに手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 正則化されたワサーティン勾配流れに基づく離散化フリーな手法が、高次元の拡散過程において正確な推論を達成できるか？
• RQ2 提案手法の性能は、非線形でマルチモーダルな拡散過程において、最先端のフィルタリング技術と比べてどのように異なるか？
• RQ3 正則化と時間ステップサイズがワサーティン勾配流れの近似精度に与える影響は何か？
• RQ4 標準的なフィルタリング手法（カルマンフィルタやパーティクルフィルタ）が困難とするマルチモーダルな事後分布を、本手法は効果的に捉えることができるか？

主な発見

• 提案手法は、1000個のパーティクルを用いたシミュレーションベースの手法と同等の対称KLダイバージェンスを真の事後分布に対して達成しており、高次元設定下でも同様である。
• 非線形でマルチモーダルなフィルタリングタスクにおいて、拡張カルマンフィルタ、アンスケンテッドカルマンフィルタ、ガウス和フィルタ、ボトムアップパーティクルフィルタと比較して、定性的および定量的指標の両方で優れた性能を示した。
• ワサーティン勾配流れはマルチモーダルな事後分布を正確に捉えているが、ベースライン手法はガウス分布の仮定やパーティクルの劣化により複数のモードを表現できていない。
• 次元数の増加に対しても本手法は効果的にスケーリングされ、ドメイン次元が増加しても、パーティクルシミュレーションと同等の性能を維持する。
• 正則化と時間ステップサイズが主な誤差要因ではあるが、実用的な設定（γ = 10⁻⁶、τ = 1/4 または 1/5）においても本手法は頑健で正確である。
• 実験結果では、100回の繰り返し実験において、本手法がすべてのベースライン手法よりも低い対称KLダイバージェンスを達成し、フィルタリングの忠実度において一貫した優位性を示した。