[論文レビュー] The data-driven Schroedinger bridge

Michele Pavon, Esteban G. Tabak+1 more|arXiv (Cornell University)|Jun 4, 2018

Advanced Differential Geometry Research参考文献 41被引用数 13

ひとこと要約

この論文は、グリッドベースの手法を回避するデータ駆動型シュレーディンガー橋手法を提案する。この手法は、初期分布と最終分布のサンプルのみを用いて、2つの確率分布間の最も確からしい中間的変化を推定する。制約付き最尤推定と重要度サンプリングを組み合わせ、シュレーディンガー系を繰り返し解くことで、高次元における推論の精度を向上させるとともに、積分の重要度サンプリングを改善する。

ABSTRACT

Erwin Schroedinger posed, and to a large extent solved in 1931/32 the problem of finding the most likely random evolution between two continuous probability distributions. This article considers this problem in the case when only samples of the two distributions are available. A novel iterative procedure is proposed, inspired by Fortet-Sinkhorn type algorithms. Since only samples of the marginals are available, the new approach features constrained maximum likelihood estimation in place of the nonlinear boundary couplings, and importance sampling to propagate the functions $φ$ and $\hatφ$ solving the Schroedinger system. This method is well-suited to high-dimensional settings, where introducing grids leads to numerically unfeasible or unreliable methods. The methodology is illustrated in two applications: entropic interpolation of two-dimensional Gaussian mixtures, and the estimation of integrals through a variation of importance sampling.

研究の動機と目的

• 初期分布と最終分布の密度関数が明示的に与えられるのではなく、そのサンプルのみが利用可能な場合にシュレーディンガー・ブリッジ問題を解くこと。
• 高次元において不実行となるグリッドベースの離散化を避ける数値的手法を開発すること。
• 経験的データから最も確からしい中間的変化 ρ(z,t) と事後遷移密度 p*(t1,x,t2,y) を推定できること。
• 古典的シュレーディンガー・ブリッジ枠組みをサンプルベース推論に拡張し、実世界のデータ制限下でも適用可能であることを保証すること。
• シュレーディンガー・ブリッジを用いて標準正規分布から標的分布へのトランスポート写像を学習することで、重要度サンプリングを改善すること。

提案手法

• 初期分布 ρ0(x) と最終分布 ρ1(y) の明示的境界条件を、サンプル {xi} と {yj} からの制約付き最尤推定に置き換える。
• シュレーディンガー系における双対関数 ϕ と ˆϕ の伝播を推定するために重要度サンプリングを用い、連続空間上の積分を回避する。
• フォルトェット＝インクーンのアルゴリズムにインspiredされた反復的アルゴリズムを実装し、最尤推定により ρ0 から ϕ(0,x) と ρ1 から ˆϕ(1,y) を交互に更新する。
• シュレーディンガー系の解から得られるトランスポート写像 T を用いて、標準正規分布からのサンプルを標的分布へ写像する。
• 積分 ∫f(y)ρ1(y)dy の推定に応用し、サンプリング空間をより滑らかな補助空間（x空間）に変換することで推定の安定性を向上させる。
• シュレーディンガー系における積分のモンテカルロ推定を、事前遷移モデル p(t1,x,t2,y) からのサンプリングにより実施する。

実験結果

リサーチクエスチョン

• RQ1 初期分布と最終分布のサンプルのみが利用可能な場合、古典的シュレーディンガー・ブリッジ問題をどのように再定式化できるか？
• RQ2 グリッドベースの離散化を避けても、高次元設定において最も確からしい中間的変化 ρ(z,t) を効果的に推定する反復的手順は何か？
• RQ3 シュレーディンガー・ブリッジ枠組みを、高次元かつサンプル数が少ない状況での重要度サンプリングの改善に適応可能か？
• RQ4 精度と不確実性の観点から、提案手法は標準モンテカルロ法や密度推定に基づく重要度サンプリングと比べてどの程度優れているか？
• RQ5 シュレーディンガー・ブリッジは、スパースなデータから中間的進化状態や潜在的ダイナミクスをどの程度正確に再構築できるか？

主な発見

• 提案手法は積分 I の推定において相対誤差 0.09710 ± 0.13284 を達成し、精度と不確実性の両面で単純モンテカルロ法（0.10512 ± 0.28865）を上回った。
• データ駆動型シュレーディンガー・ブリッジ手法は、特にサンプル数が少ない高次元空間において、直接的な密度推定の代替として堅牢である。
• 標準正規分布から標的分布へのトランスポート写像を用いることで、ρ1 の直接推定よりもより安定的かつ正確な重要度サンプリングが可能になった。
• この手法は、高次元設定においても2つのガウス混合分布間の中間的変化 ρ(z,t) を正確に再構築できた。
• 制約付き最尤推定と重要度サンプリングに基づく反復的手順は、サンプルに基づく周辺分布と事前ダイナミクスを満たす解に収束した。
• この手法は、海洋流の推定、進化的経路の再構築、逆拡散問題など、スパースまたはサンプリングされたデータしか入手できない応用分野に適している。