[論文レビュー] Inference via low-dimensional couplings

Alessio Spantini, Daniele Bigoni+1 more|arXiv (Cornell University)|Mar 17, 2017

Markov Chains and Monte Carlo Methods参考文献 93被引用数 13

ひとこと要約

本稿では、スパースかつ分解可能な輸送写像を用いて低次元の結合を活用することで、高次元で非ガウスなモデルにおける効率的なベイズ推論のためのフレームワークを提案する。また、ターゲット分布のマルコフ性が低次元輸送写像の構築を可能にすることを確立し、スケーラブルな変分推論を実現するとともに、非線形・非ガウスな状態空間モデルへのスクエアルート・ラウ・タン・ストリーベル smoother の一般化を達成する。

ABSTRACT

We investigate the low-dimensional structure of deterministic transformations between random variables, i.e., transport maps between probability measures. In the context of statistics and machine learning, these transformations can be used to couple a tractable "reference" measure (e.g., a standard Gaussian) with a target measure of interest. Direct simulation from the desired measure can then be achieved by pushing forward reference samples through the map. Yet characterizing such a map---e.g., representing and evaluating it---grows challenging in high dimensions. The central contribution of this paper is to establish a link between the Markov properties of the target measure and the existence of low-dimensional couplings, induced by transport maps that are sparse and/or decomposable. Our analysis not only facilitates the construction of transformations in high-dimensional settings, but also suggests new inference methodologies for continuous non-Gaussian graphical models. For instance, in the context of nonlinear state-space models, we describe new variational algorithms for filtering, smoothing, and sequential parameter inference. These algorithms can be understood as the natural generalization---to the non-Gaussian case---of the square-root Rauch-Tung-Striebel Gaussian smoother.

研究の動機と目的

• ベイズ推論における高次元輸送写像の表現と評価の計算的非実行可能性に対処する。
• ターゲット分布の条件付き独立構造（マルコフ性）を活用して低次元結合を実現する。
• 非線形・非ガウスな状態空間モデルにおけるスケーラブルな変分推論アルゴリズムを、状態とパラメータの同時推定を含めて開発する。
• 輸送写像を用いて古典的なガウス平滑化アルゴリズム（例：RTS smoother）を非ガウス領域に一般化する。
• スパースかつ分解可能な輸送写像を構築する理論的・アルゴリズム的基盤を提供し、表現コストと計算コストを低減する。

提案手法

• 各成分が以前の変数の部分集合にのみ依存する三角形輸送写像を基本構成要素として用いる。
• ターゲット分布のマルコフブラケット構造と成分の依存関係を一致させることで、輸送写像のスパarsityを活用する。
• 低次元写像の合成として構成される分解可能な輸送写像を導入し、再帰的・モジュラーな構築を可能にする。
• これらの写像を用いてフィルタリング、平滑化、逐次的パラメータ推定のための変分推論アルゴリズムを定式化する。
• 逐次的・固定点方式で回帰ベースの学習を適用し、成分写像の推定を効率的に行う。
• 標準ガウス分布からのリファレンスサンプルを、学習済み輸送写像によるプッシュフォワードでターゲット分布のサンプルに変換する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分布のマルコフ性が低次元輸送写像の存在を保証するか？
• RQ2 モデルの条件付き独立構造から、輸送写像のスパarsityと分解可能性を体系的に導出できるか？
• RQ3 非線形・非ガウスな状態空間モデルへのガウス平滑化アルゴリズムの一般化に、輸送写像をどの程度活用できるか？
• RQ4 推論において線形と非線形の輸送写像を用いる際の、計算効率と精度のトレードオフはいかほどか？
• RQ5 高次元設定下で、低次元結合を用いて状態とパラメータの同時推論を効率的に行えるか？

主な発見

• ターゲット分布のマルコフ性は、スパースおよび／または分解可能な輸送写像の存在を示唆し、低次元結合を可能にする。
• 成分の依存関係をマルコフブラケット構造に一致させることで、スパースな三角形輸送写像を構築でき、計算複雑性を顕著に低減できる。
• 分解可能な輸送写像により、低次元変換を用いた高次元結合の再帰的・モジュラーな構築が可能になる。
• フィルタリングおよび平滑化のための提案された変分アルゴリズムは、スクエアルート・ラウ・タン・ストリーベル smoother を非線形・非ガウスな場合に一般化する。
• 線形輸送写像は、平滑化タスクにおいて著しい高速化を達成するが、精度の損失はわずかであり、静的パラメータ推定では複雑なパラメータ周辺分布を捉えられない。
• 長時間の平滑化や静的パラメータ推定といった困難な問題では、線形近似では不十分であるため、非線形で高次元の写像が正確な推論に不可欠である。