[論文レビュー] HINT: Hierarchical Invertible Neural Transport for General and Sequential Bayesian inference.

Gianluca Detommaso, Jakob Kruse+4 more|arXiv (Cornell University)|May 25, 2019

Gaussian Processes and Bayesian Inference参考文献 10被引用数 4

ひとこと要約

HINTは、最適輸送を用いてベイズ推論における高速で勾配フリーの事後分布サンプリングを可能にする階層的可逆ニューラルネットワークフレームワークを導入する。事前分布と連合事後分布の間でKnothe-Rosenblatt輸送写像を構築することにより、オフライン学習後、任意の観測値に対して即座に事後分布サンプリングが可能となり、モデル勾配や解析的事前分布の必要性がなくなる。これにより、一般および逐次的ベイズ推論に対して非常に効果的である。

ABSTRACT

In this paper, we introduce Hierarchical Invertible Neural Transport (HINT), an algorithm that merges Invertible Neural Networks and optimal transport to sample from a posterior distribution in a Bayesian framework. This method exploits a hierarchical architecture to construct a Knothe-Rosenblatt transport map between an arbitrary density and the joint density of hidden variables and observations. After training the map, samples from the posterior can be immediately recovered for any contingent observation. Any underlying model evaluation can be performed fully offline from training without the need of a model-gradient. Furthermore, no analytical evaluation of the prior is necessary, which makes HINT an ideal candidate for sequential Bayesian inference. We demonstrate the efficacy of HINT on two numerical experiments.

研究の動機と目的

• 複雑なモデルにおける従来のベイズ推論手法の計算非効率性と勾配依存性を解消すること。
• 従来のノーマライジングフローと変分推論の限界を克服し、モデル勾配を必要としない正確な事後分布サンプリングを可能にすること。
• 学習と推論を分離し、解析的事前分布の評価を回避することで、逐次的ベイズ推論をサポートするフレームワークの開発。
• 学習後、任意の観測値に対して効率的な事後分布サンプリングを可能にし、さまざまな推論タスクにわたるスケーラビリティと再利用可能性を確保すること。

提案手法

• 隠れ変数と観測値の連合密度を可逆ニューラルネットワークを用いてモデル化する階層的アーキテクチャを構築する。
• Knothe-Rosenblatt輸送写像を用いて、基本密度から連合事後分布への双方向的かつ微分可能な変換を定義する。
• 基本密度をターゲットの連合事後密度と一致させるように、尤度に基づく目的関数を用いて可逆輸送写像を学習する。
• ネットワークの可逆性を活用し、学習後、任意の観測データポイントに対して直接的に事後分布からサンプリングする。
• すべての計算をオフラインで実行することで、モデル評価と推論を分離し、実行時における勾配計算を回避する。
• 解析的事前密度評価の必要性を排除し、事後分布推論に完全に学習済みの輸送写像に依存する。

実験結果

リサーチクエスチョン

• RQ1 階層的可逆ニューラルネットワークフレームワークは、モデル勾長を必要とせず、高速かつ正確な事後分布サンプリングを可能にするか？
• RQ2 Knothe-Rosenblatt写像による最適輸送は、複雑なベイズモデルにおける事後分布近似をどの程度改善するか？
• RQ3 学習と推論の分離と観測値間での再利用を可能にすることで、提案手法が逐次的ベイズ推論をサポートできるか？
• RQ4 解析的事前分布が不正確または利用できない状況において、この手法はどのように性能を発揮するか？
• RQ5 階層的構造は、標準的なノーマライジングフローと比較して、事後分布輸送における表現力と一般化性能を向上させるか？

主な発見

• HINTは、一度のオフライン学習フェーズを経た後、任意の観測値に対して即座に事後分布サンプリングが可能となり、推論遅延が顕著に短縮される。
• 推論中に勾配計算を必要としないため、リアルタイムまたはリソース制限のある環境においても適した正確な事後分布近似を達成する。
• 解析的事前密度評価の必要性がなくなるため、不正確な事前分布を有するモデルへの応用範囲が広がる。
• 階層的設計により、輸送写像の表現力が向上し、複雑な事後分布構造の効果的モデリングが可能になる。
• 2つの数値実験において、フレームワークは一般および逐次的ベイズ推論タスクの両方で頑健な性能を示しており、実用性が確認された。