[論文レビュー] On the representation and learning of monotone triangular transport maps

Ricardo Baptista, Youssef Marzouk+1 more|arXiv (Cornell University)|Sep 22, 2020

Medical Imaging Techniques and Applications被引用数 3

ひとこと要約

本稿では、滑らかな関数の可逆変換を用いて単調な三角型輸送写像を表現・学習する一般枠組みを提案する。最適化問題に余分な局所最小値が生じないことを保証し、標的分布の弱い尾部条件のもとでKnothe–Rosenblatt写像が一意のグローバル最小解であることを証明する。本稿は、有限標本からのKR写像のスパースな半パラメトリック近似を自適的に行うアルゴリズムを導入し、さまざまな標本サイズにおいて密度推定、尤度フリー推論、構造学習の分野で安定した性能を発揮する。

ABSTRACT

Transportation of measure provides a versatile approach for modeling complex probability distributions, with applications in density estimation, Bayesian inference, generative modeling, and beyond. Monotone triangular transport maps$\unicode{x2014}$approximations of the Knothe$\unicode{x2013}$Rosenblatt (KR) rearrangement$\unicode{x2014}$are a canonical choice for these tasks. Yet the representation and parameterization of such maps have a significant impact on their generality and expressiveness, and on properties of the optimization problem that arises in learning a map from data (e.g., via maximum likelihood estimation). We present a general framework for representing monotone triangular maps via invertible transformations of smooth functions. We establish conditions on the transformation such that the associated infinite-dimensional minimization problem has no spurious local minima, i.e., all local minima are global minima; and we show for target distributions satisfying certain tail conditions that the unique global minimizer corresponds to the KR map. Given a sample from the target, we then propose an adaptive algorithm that estimates a sparse semi-parametric approximation of the underlying KR map. We demonstrate how this framework can be applied to joint and conditional density estimation, likelihood-free inference, and structure learning of directed graphical models, with stable generalization performance across a range of sample sizes.

研究の動機と目的

• 単調な三角型輸送写像の一般表現と学習フレームワークを構築し、最適化においてグローバル最適性を保証すること。
• 無限次元最適化問題に余分な局所最小値が存在しない理論的条件を確立すること。
• 標的分布の弱い尾部条件のもとで、一意のグローバル最小解がKnothe–Rosenblatt（KR）再配分に対応することを証明すること。
• 有限標本からのKR写像のスパースな半パラメトリック近似を自適的に学習するアルゴリズムを設計すること。
• 本手法が連合および条件付き密度推定、尤度フリー推論、および有向グラフィカルモデルの構造学習の分野で有効に機能することを示すこと。

提案手法

• 滑らかな関数の可逆変換による単調な三角型写像の表現により、単調性と可逆性を保証する。
• 無限次元最適化設定においてすべての局所最小値がグローバル最小値であることを保証する変換に関する十分条件を確立する。
• ウェーブレットまたは多項式基底を用いて、輸送写像の各成分の自適的かつスパースなパrameter化を実現する。
• 情報量の高い領域に焦点を当てるグリーディなマルチインデックスの基底拡張戦略（ATM）を採用する。
• 三角型写像が持つ条件付き独立構造を活用することで、密度推定、条件付きサンプリング、構造学習に本フレームワークを適用する。
• 汎化性能を保証するため、検証に基づくハイパーパrameterチューニングと早期停止を用いた最尤推定を実施する。

実験結果

リサーチクエスチョン

• RQ1 変換に関するどのような条件下で、単調な三角型写像を学習するための無限次元最適化問題に余分な局所最小値が存在しないか？
• RQ2 最適化問題の一意のグローバル最小解がKnothe–Rosenblatt再配分に対応するのはどのような場合か？
• RQ3 有限i.i.d.標本から、KR写像のスパースで半パラメトリックな近似をどのように自適的に学習できるか？
• RQ4 提案されたフレームワークは、密度推定および推論タスクにおいて、さまざまな標本サイズにわたって安定した汎化性能を達成できるか？
• RQ5 本手法は、有向グラフィカルモデルにおける条件付き密度推定および構造学習にどの程度応用可能か？

主な発見

• 提案されたフレームワークにより、変換に関する弱い条件下で、無限次元最適化問題におけるすべての局所最小値がグローバル最小値であることが保証される。
• 標的分布が特定の尾部条件を満たす場合、最適化問題の一意のグローバル最小解はKnothe–Rosenblatt写像に対応する。
• 自適的アルゴリズムは、連合および条件付き密度推定タスクにおいて、広範な標本サイズにわたって安定した汎化性能を達成する。
• 本手法により、限られた標本でも観測データから輸送写像を学習することで、効果的な尤度フリー推論が可能になる。
• 三角型写像に内在する条件付き独立構造を活用することで、本フレームワークは有向グラフィカルモデルの構造学習を支援する。
• マルチインデックスの基底拡張を伴うウェーブレットまたは多項式基底の使用により、表現力が高く、計算効率の良いスパースで自適な輸送写像の近似が可能になる。