[論文レビュー] Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization

Alexander Korotin, Lingxiao Li+2 more|arXiv (Cornell University)|Feb 2, 2021

Geometric Analysis and Curvature Flows参考文献 31被引用数 10

ひとこと要約

本稿では、入力凸ニューラルネットワークとサイクル整合性正則化を用いて、エントロピー的または二次的正則化によるバイアスを回避する、スケーラブルでミニマックスを不要とする連続 Wasserstein-2 バリオセントラの計算手法を提案する。この手法は、低次元の定性的なタスクおよび高次元のベイズ的後方分布集約の両方で最先端の性能を達成しており、実験結果ではバリオセントラ近似精度が顕著に向上している。

ABSTRACT

Wasserstein barycenters provide a geometric notion of the weighted average of probability measures based on optimal transport. In this paper, we present a scalable algorithm to compute Wasserstein-2 barycenters given sample access to the input measures, which are not restricted to being discrete. While past approaches rely on entropic or quadratic regularization, we employ input convex neural networks and cycle-consistency regularization to avoid introducing bias. As a result, our approach does not resort to minimax optimization. We provide theoretical analysis on error bounds as well as empirical evidence of the effectiveness of the proposed approach in low-dimensional qualitative scenarios and high-dimensional quantitative experiments.

研究の動機と目的

• 連続確率測度の Wasserstein-2 バリオセントラを計算するスケーラブルでバイアスのない手法の開発。
• 従来の手法で一般的に用いられるミニマックス最適化を回避し、訓練の不安定性を防ぐこと。
• 入力凸ニューラルネットワークとサイクル整合性正則化を用いることで、正則化に起因するバイアスを排除すること。
• 高次元設定においても、入力測度のサンプルアクセスからの正確なバリオセントラ推定を可能とすること。
• 多様な応用分野において理論的誤差境界と実験的妥当性を提供すること、例えば画像のカラーパレット平均化やベイズ的後方分布集約を含む。

提案手法

• Wasserstein-2 バリオセントラ定式化における双対ポテンシャルを入力凸ニューラルネットワーク（ICNN）でパrameter化し、凸性と微分可能性を保証する。
• 訓練の安定化と収束性の向上を目的に、新たな同型性正則化項とサイクル整合性正則化を組み合わせる。
• Wasserstein-2 距離の双対定式化を用いて、バリオセントラ問題を凸ポテンシャルの最小化問題として定式化する。
• 学習されたポテンシャルの勾配（すなわち ∇ψ）による入力測度のプッシュフォワードを用いて、バリオセントラの近似を生成する。
• Wasserstein-2 の最適輸送マップが凸ポテンシャルの勾配であるという事実を活用し、幾何学的に意味のある補間を可能にする。
• ミニマックス学習や追加の正則化を必要とせず、確率的最適化を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ミニマックスを不要とするアプローチは、正則化バイアスを導入せずに正確な連続 Wasserstein-2 バリオセントラ推定を達成できるか？
• RQ2 サイクル整合性正則化を施した入力凸ニューラルネットワークは、高次元設定でも真のバリオセントラをどれほど正確に近似できるか？
• RQ3 実世界のデータ、例えばサブセット後方分布に対して、提案手法は既存手法を上回るバリオセントラ近似誤差を達成できるか？
• RQ4 画像処理において、カラーパレット平均化を効果的に行い、視覚的意味を保持できるか？
• RQ5 近似品質および収束性の観点から、提案手法の理論的誤差境界は何か？

主な発見

• サブセット後方分布集約タスクにおいて、本手法はポisson回帰で 0.10%、負の二項回帰で 0.11% の B W₂²-UVP を達成し、先行手法を上回った。
• カラーパレット平均化のタスクでは、元の画像から得られる特徴（例：青みがかった空、緑がかった木）を視覚的に効果的に融合した画像を生成し、幾何学的補間の有効性を示した。
• 一様分布を用いた合成データにおいて、本手法は B W₂²-UVP 1.45% を達成し、次善の手法（1.83%）を顕著に上回った。
• 本手法は低次元の定性的タスクと高次元の定量的実験の両方で頑健な性能を示し、スケーラビリティと正確性を確認した。
• 理論的解析により、学習された凸ポテンシャルの勾配が入力分布を真のバリオセントラに効果的にプッシュフォワードすることが確認され、収束性が保証された。
• ミニマックス最適化と正則化バイアスの不在により、従来手法と比較してより正確で安定したバリオセントラ推定が実現された。