[論文レビュー] Sinkhorn Divergences for Unbalanced Optimal Transport

Thibault Séjourné, Jean Feydy+3 more|arXiv (Cornell University)|Oct 28, 2019

Point processes and geometric inequalities参考文献 70被引用数 24

ひとこと要約

本稿では、外れ値、欠損データ、サンプリングノイズに対して頑健性を向上させるために、非平衡最適輸送とエントロピー正則化を組み合わせた、新しい損失関数のクラス、非平衡Sinkhorn散らばりを導入する。この手法は凸性、正定値性、弱収束のメトリシティを保証し、広範な非平衡設定において線形収束を示す関連するSinkhornアルゴリズムを持つ。

ABSTRACT

Optimal transport induces the Earth Mover's (Wasserstein) distance between probability distributions, a geometric divergence that is relevant to a wide range of problems. Over the last decade, two relaxations of optimal transport have been studied in depth: unbalanced transport, which is robust to the presence of outliers and can be used when distributions don't have the same total mass; entropy-regularized transport, which is robust to sampling noise and lends itself to fast computations using the Sinkhorn algorithm. This paper combines both lines of work to put robust optimal transport on solid ground. Our main contribution is a generalization of the Sinkhorn algorithm to unbalanced transport: our method alternates between the standard Sinkhorn updates and the pointwise application of a contractive function. This implies that entropic transport solvers on grid images, point clouds and sampled distributions can all be modified easily to support unbalanced transport, with a proof of linear convergence that holds in all settings. We then show how to use this method to define pseudo-distances on the full space of positive measures that satisfy key geometric axioms: (unbalanced) Sinkhorn divergences are differentiable, positive, definite, convex, statistically robust and avoid any "entropic bias" towards a shrinkage of the measures' supports.

研究の動機と目的

• 外れ値、欠損データ、サンプリングノイズに対して耐性を持つ、確率測度を比較するための頑健な損失関数を開発すること。
• 非平衡最適輸送とエントロピー正則化を組み合わせ、安定性と計算効率を向上させること。
• 新しい散らばりの理論的保証を確立すること、特に凸性、正定値性、弱収束のメトリシティを含む。
• 関連するSinkhornアルゴリズムの非平衡設定における収束特性を分析すること。
• 本手法の実世界問題への有効性を、形状登録および3次元シーンフロー推定の応用で示すこと。

提案手法

• エントロピー正則化とCsiszàr φ-散らばりに基づき、非平衡最適輸送の対称化・正則化されたバージョンとして、非平衡Sinkhorn散らばりを提案する。
• エントロピー正則化非平衡OT問題の双対形式を導入し、Sinkhornアルゴリズムによる効率的計算を可能にする。
• コスト関数および正則化パラメータに関するややいなごろしの仮定の下で、線形収束を示す非平衡OTのSinkhornアルゴリズムを用いて散らばりを計算する。
• 双対性フレームワークを用いて、OT値が経験的測度への感度を制限し、RKHSにおける一般化保証を可能にする。
• 双対ポテンシャルのSobolev正則性解析を用いて、摂動下での収束速度および安定性バウンドを導出する。
• 核ベースのノルムとユニバーサルカーネルを用いて、弱∗収束のメトリシティを保証し、標準的なφ-散らばりよりも幾何的感度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化を施した非平衡最適輸送は、安定的で、凸的かつ正定値であり、弱収束をメトリシティに持つ散らばりを生成できるか？
• RQ2 一般の非平衡設定下で、非平衡OT用のSinkhornアルゴリズムは線形収束するか？
• RQ3 提案された散らばりは、標準的な最適輸送やφ-散らばりと比較して、外れ値およびサンプリングノイズに対してどのように頑健性を向上させるか？
• RQ4 経験的測度による測度の近似に対する非平衡Sinkhorn散らばりの感度に関して、どのような理論的保証を確立できるか？
• RQ5 本手法は、3次元形状登録やシーンフローエスティメーションといった実世界問題に効果的に応用可能か？

主な発見

• 非平衡Sinkhorn散らばりは凸的であり、正定値であり、法則収束をメトリシティに持つ。これにより、測度間の意味のある幾何的比較が保証される。
• 関連するSinkhornアルゴリズムは、広範な非平衡設定において線形収束を示し、効率的な計算が可能である。
• 3次元シーンフローエスティメーションおよび勾配フローの応用において、外れ値およびサンプリングノイズに対して優れた頑健性を示した。
• 理論的バウンディングにより、散らばりが経験的近似に対して安定であり、誤差が双対ポテンシャルのSobolevノルムによって制御されることを示した。
• 双対ポテンシャルはSobolev空間において正則性を示し、ε → 0 のときノルムがO(1/ε^{s−1})のスケーリングを示す。これは収束解析を支援する。
• RKHSにおけるPACフレームワークを用いた一般化保証が可能であり、誤差バウンディングは双対関数空間における経験的測度の収束に依存する。