[論文レビュー] Greedy inference with structure-exploiting lazy maps

Brennan, Michael C., Daniele Bigoni+3 more|arXiv (Cornell University)|May 31, 2019

Markov Chains and Monte Carlo Methods参考文献 25被引用数 14

ひとこと要約

本稿では、事後分布の最大の差異を示す方向に注目する低ランクトランスポートマップを用いた、高次元ベイズ推論のためのグリーディで構造を活用するフレームワークを提案する。対数ソボレフ不等式を用いてKLダイバージェンスの上界を最小化することで、情報量の多い低次元部分空間を同定し、繰り返しラグジュアリーなマップを合成することで、事後分布への弱収束を達成し、多項式および逆自己回帰的フローを用いて機械学習およびPDE逆問題において精度が向上することを示している。

ABSTRACT

We propose a framework for solving high-dimensional Bayesian inference problems using \emph{structure-exploiting} low-dimensional transport maps or flows. These maps are confined to a low-dimensional subspace (hence, lazy), and the subspace is identified by minimizing an upper bound on the Kullback--Leibler divergence (hence, structured). Our framework provides a principled way of identifying and exploiting low-dimensional structure in an inference problem. It focuses the expressiveness of a transport map along the directions of most significant discrepancy from the posterior, and can be used to build deep compositions of lazy maps, where low-dimensional projections of the parameters are iteratively transformed to match the posterior. We prove weak convergence of the generated sequence of distributions to the posterior, and we demonstrate the benefits of the framework on challenging inference problems in machine learning and differential equations, using inverse autoregressive flows and polynomial maps as examples of the underlying density estimators.

研究の動機と目的

• トランスポートマップに基づくベイズ推論における次元の呪いを、高次元事後分布における低次元構造を活用することで克服すること。
• KLダイバージェンスの上界を最小化することで、トランスポートマップ近似に適した情報量の多い低次元部分空間を体系的に同定する原理的かつ整合的な手法を開発すること。
• 現在の近似と真の事後分布との残差差異に適応的に対処する、効率的で逐次的なラグジュアリーなトランスポートマップの合成を可能にすること。
• 妥当な仮定の下で、グリーディな反復的マップ合成が真の事後分布へ弱収束することを証明すること。
• 機械学習およびPDE制約付き逆問題の挑戦的問題において、推論の精度と効率を向上させること。

提案手法

• 本手法は、対数ソボレフ不等式から導かれる、真の事後分布とその近似との間のKLダイバージェンスの上界を最小化することで、低次元部分空間を同定する。
• 選択されたマップクラス（例：三角多項式マップや逆自己回帰的フローなど）を用いて、この部分空間に制限されたトランスポートマップ（「ラグジュアリー・マップ」として）を構築する。
• フレームワークはグリーディな合成を適用する：各ステップで、現在の近似と真の事後分布との間の残差分布上に新たなラグジュアリー・マップを訓練する。
• 勾配計算とマップの更新には、ベース測度（例：標準正規分布）上の期待値のモンテカルロ近似（$ m = 100 $ 個のサンプル）を用いる。
• 各新しいマップ層が残差差異上に訓練されるため、近似品質が段階的に向上する、反復的精錬が可能である。
• やや弱い正則性条件の下で理論的収束性が確立され、順送りの列が真の事後分布へ弱収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 高次元事後分布において、事前分布からの最も顕著な差異を捉える低次元部分空間を同定できるか？ これにより、効率的なトランスポートマップ構築が可能になるか？
• RQ2 KLダイバージェンスの上界を体系的に最小化することで、トランスポートマップのための情報量の多い部分空間の選定をどのようにガイドできるか？
• RQ3 低ランクトランスポートマップのグリーディで段階的な合成は、真の事後分布分布へ弱収束するか？
• RQ4 このフレームワークは、計算コストを削減しつつ、標準的なノーマライジングフローを上回る性能を高次元推論タスクで示せるか？
• RQ5 曲げ梁における材料特性の推定といったPDEを含む挑戦的逆問題において、本手法はどのように性能を発揮するか？

主な発見

• 標準的な正則性仮定の下で、トランスポートマップのグリーディな列が真の事後分布分布へ弱収束することを確認した。
• ヤング率推定問題において、本手法は5セグメントの梁の真の値を正確に回復し、図10(c)に示すように、事後分布の周辺分布が真の値とよく一致した。
• 図11(b)に示すように、事後予測の不一致は、モデルが生成した観測値と観測データが整合的であることを確認し、良好なキャリブレーションを示している。
• MCMCバリデーションチェーンでは、68.3%の受容率を達成し、有効サンプルサイズは7.0%から38.7%の範囲にあった。これにより、事後分布近似が適切にキャリブレートされていることが裏付けられた。
• 次数3の多項式フローを用いたランク2のラグジュアリー・マップは、中程度の高次元問題においても、低次元構造を効果的に活用できることを示した。
• グリーディな合成戦略により、特に高次元パrameter空間における複雑な事後分布の依存関係を捉える能力が向上し、ベースライン手法に比べて最終的な精度が向上した。