[論文レビュー] An introduction to sampling via measure transport

Youssef Marzouk, Tarek Moselhy+2 more|arXiv (Cornell University)|Feb 16, 2016

Markov Chains and Monte Carlo Methods参考文献 80被引用数 48

ひとこと要約

本論文は、簡単な参考測度（例：正規分布）から複雑な標本分布への決定的かつ可逆な写像を構築することで、サンプリングに向けた測度輸送手法を提案する。これらの写像を変分問題を解くことで学習することで、標本分布からの効率的かつ独立した重みなしサンプリングが可能となり、MCMCの前処理やガウス化を可能にするとともに、高次元設定下での最適化と近似空間の拡張を用いた誤差の定量的評価と適応的改善が可能となる。

ABSTRACT

We present the fundamentals of a measure transport approach to sampling. The idea is to construct a deterministic coupling---i.e., a transport map---between a complex "target" probability measure of interest and a simpler reference measure. Given a transport map, one can generate arbitrarily many independent and unweighted samples from the target simply by pushing forward reference samples through the map. We consider two different and complementary scenarios: first, when only evaluations of the unnormalized target density are available, and second, when the target distribution is known only through a finite collection of samples. We show that in both settings the desired transports can be characterized as the solutions of variational problems. We then address practical issues associated with the optimization--based construction of transports: choosing finite-dimensional parameterizations of the map, enforcing monotonicity, quantifying the error of approximate transports, and refining approximate transports by enriching the corresponding approximation spaces. Approximate transports can also be used to "Gaussianize" complex distributions and thus precondition conventional asymptotically exact sampling schemes. We place the measure transport approach in broader context, describing connections with other optimization--based samplers, with inference and density estimation schemes using optimal transport, and with alternative transformation--based approaches to simulation. We also sketch current work aimed at the construction of transport maps in high dimensions, exploiting essential features of the target distribution (e.g., conditional independence, low-rank structure). The approaches and algorithms presented here have direct applications to Bayesian computation and to broader problems of stochastic simulation.

研究の動機と目的

• マルコフ連鎖モンテカルロ法（MCMC）や重要度サンプリングに依存せずに、複雑で高次元の確率分布から独立した重みなしサンプルを生成するフレームワークの開発。
• 評価が高価または不正則な標本密度が関与するベイズ推論や不確実性の定量化の課題に対処すること。
• 計算効率が良く、条件付き独立性や低ランクの依存構造といった低次元的構造を活用できる輸送写像の構築。
• 近似写像の誤差を体系的に定量化・低減するための、近似空間の適応的拡張を提供する方法の確立。
• 従来のサンプリング手法（例：MCMC）の前処理としての輸送写像の利用を可能にし、混合性と収束性の向上を図ること。

提案手法

• 参考測度と標本測度の間の発散（例：カルバック・ライバラー）を最小化する変分問題の解として輸送写像を定式化する。
• 多項式クラウドやニューラルネットワークなどの有限次元パラメータ化を用いて写像を構築し、ヤコビアン制約やKnothe-Rosenblatt再配分を用いて単調性を保証する。
• 最適化に基づく学習により、未正規化密度の評価値または標本分布からの有限個のサンプルから写像パラメータを決定する。
• スパarsityや条件付き独立性などの構造的制約を写像パラメータ化に組み込み、次元削減とスケーラビリティの向上を図る。
• 最適化の過程で一階変動解析を適用し、近似空間の適応的拡張を誘導することで、完全な再トレーニングなしに精度を向上させる。
• 学習済み写像を用いて参考サンプルを標本分布に変換するか、三角構造を介して条件付きサンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 簡単な参考測度（例：標準正規分布）からのサンプルを、複雑な標本分布からの独立的かつ重みなしサンプルに変換する決定的かつ可逆な写像を構築可能か？
• RQ2 累積分布関数への直接アクセスがなく、未正規化密度評価値しか得られない状況で、どのように輸送写像を学習できるか？
• RQ3 条件付き独立性や低ランク構造といった構造的仮定が、高次元輸送写像学習の複雑さをどのように低減するか？
• RQ4 近似写像の誤差を、近似空間の適応的拡張を通じてどのように定量化・低減できるか？
• RQ5 MCMCサンプラーの混合性と収束性を向上させるために、輸送写像を前処理として使用可能か、特に高次元で強く相関する事後分布において？

主な発見

• 輸送写像フレームワークにより、標準正規分布などの参考測度からのサンプルを押し上げることで、複雑な標本分布からの独立的かつ重みなしサンプルの生成が可能となる。
• 未正規化密度が利用可能な場合、押し上げられた測度と標本測度の間のカルバック・ライブラー発散を最小化する変分問題を解くことで、輸送写像を学習できる。
• 標本分布からのサンプルのみが利用可能な場合、双対変分定式化を用いることで、経験的データからの密度推定と輸送写像の構築が可能となる。
• 写像における三角構造を活用することで、効率的な条件付きサンプリングが可能となり、周辺分布や条件付き分布を直接サンプリングできる。
• 近似輸送写像をMCMCアルゴリズムの前処理として使用することで、高次元で相関の強い事後分布において、混合性と収束速度の著しい向上が達成できる。
• 一階変動解析を根拠とした近似空間の適応的拡張により、完全な再最適化なしに誤差を体系的に低減し、輸送写像の精度を向上させることができる。