[論文レビュー] A fixed-point approach to barycenters in Wasserstein space

Pedro C. Álvarez-Esteban, Eustasio del Barrio+2 more|arXiv (Cornell University)|Nov 17, 2015

Geometric Analysis and Curvature Flows参考文献 23被引用数 14

ひとこと要約

本稿では、$π_{2,ac}$空間内における確率測度のウォッサーシュタイン重心を計算するための固定点反復法を提案する。最適輸送写像を用いて、重心に対応する固定点を有する作用素を定義する。この手法は一貫性のある近似を保証し、特にガウス分布および位置スケール族において、指数的かつ高速に収束する。その際、重心の共分散行列は非線形行列方程式によって特徴づけられ、反復的に解かれる。

ABSTRACT

Let $\mathcal{P}_{2,ac}$ be the set of Borel probabilities on $\mathbb{R}^d$ with finite second moment and absolutely continuous with respect to Lebesgue measure. We consider the problem of finding the barycenter (or Fréchet mean) of a finite set of probabilities $ν_1,\ldots,ν_k \in \mathcal{P}_{2,ac}$ with respect to the $L_2-$Wasserstein metric. For this task we introduce an operator on $\mathcal{P}_{2,ac}$ related to the optimal transport maps pushing forward any $μ\in \mathcal{P}_{2,ac}$ to $ν_1,\ldots,ν_k$. Under very general conditions we prove that the barycenter must be a fixed point for this operator and introduce an iterative procedure which consistently approximates the barycenter. The procedure allows effective computation of barycenters in any location-scatter family, including the Gaussian case. In such cases the barycenter must belong to the family, thus it is characterized by its mean and covariance matrix. While its mean is just the weighted mean of the means of the probabilities, the covariance matrix is characterized in terms of their covariance matrices $Σ_1,\dots,Σ_k$ through a nonlinear matrix equation. The performance of the iterative procedure in this case is illustrated through numerical simulations, which show fast convergence towards the barycenter.

研究の動機と目的

• $π_{2,ac}$、すなわち$π^d$ 上のボレル確率測度で二階モーメントが有限で絶対連続である空間におけるウォッサーシュタイン重心の近似のための一貫性があり、計算的に実行可能な手法の開発。
• 重心が、目標測度への最適輸送写像の重み付き平均から構成される新しい作用素の固定点であることを確立する。
• 位置スケール族（特にガウス族）において特に有効な、重心を計算する実用的な反復的アルゴリズムの提供。
• ガウス分布の場合、重心の共分散行列が非線形行列方程式によって特徴づけられることを示し、鋭い境界を導出する。
• 異なる次元数や分布数の下で、反復スキームの収束速度と頑健性を実験的に検証する。

提案手法

• $π_{2,ac}$ 上に作用する作用素を定義し、測度 $\mu$ を各 $\nu_i$ への最適輸送写像の重み付き平均に写像させ、新たな測度を生成する。
• 一般条件下で、任意の重心がこの作用素の固定点であることを証明し、反復的手法の理論的基盤を確立する。
• 作用素を繰り返し適用する反復スキーム（式19）を構築し、現在の重心推定値を更新することで真の重心に収束することを保証する。
• ガウス分布の場合、重心の平均は入力平均の重み付き平均であり、共分散行列は入力共分散行列を含む非線形行列方程式を満たすことを示す。
• 行列解析および最適輸送理論を用いて、多変量ガウス分布間の輸送写像の閉形式表現を導出し、作用素の効率的計算を可能にする。
• 目的関数の減少量が許容誤差以下に下がるまで反復を継続する停止基準を実装し、数値シミュレーションにより性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 $π_{2,ac}$ 内の有限個の確率測度のウォッサーシュタイン重心は、最適輸送写像に基づく固定点反復によって一貫して近似可能か？
• RQ2 多変量ガウス分布の重心はガウス族に属するか？ もし属するならば、その共分散行列はどのように特徴づけられるか？
• RQ3 本手法の収束速度および安定性は、特に高次元または $k$ が大きい場合の既存手法と比較してどうなるか？
• RQ4 ガウス分布の場合、重心の共分散行列に対する鋭い境界は何か？ また、入力共分散行列とどのように関係するか？
• RQ5 反復スキームはウォッサーシュタイン距離において指数的収束を示すか？ その挙動は次元数や分布数の増加に伴ってどのようにスケーリングされるか？

主な発見

• $ν_1, \dots, \nu_k \in \mathcal{P}_{2,ac}$ の重心は、輸送に基づく作用素の固定点であり、反復的計算の理論的基盤を提供する。
• ガウス分布の場合、重心の平均は入力平均の重み付き平均であり、共分散行列は固定点反復で解ける非線形行列方程式を満たす。
• 提案された反復スキーム（式19）は、反復間の目的関数差の対数が線形に減少するという証拠により、指数的かつ高速に重心に収束する。
• 数値シミュレーションにより、収束に必要な平均反復回数は中程度（例：$d=50$, $k=50$ の場合約32回）であり、次元数や $k$ の増加に伴いゆっくりと増加する。他の手法に比べて優れた性能を示す。
• $k=5$, $d=2$ の場合、入力共分散行列が可換である場合にはわずか2反復（1回の実際の更新）で収束し、有利な状況下での急速な収束を示す。
• 本手法は位置スケール族へ自然に拡張可能であり、変換不変性により、ガウス分布に対するすべての結果が、同様にその族に対しても直接適用可能である。