[論文レビュー] Optimal Transport losses and Sinkhorn algorithm with general convex regularization

Simone Di Marino, Augusto Gerolin|arXiv (Cornell University)|Jul 2, 2020

Advanced Optimization Algorithms Research参考文献 42被引用数 9

ひとこと要約

本稿では、シャノンエントロピー正則化を超えてシンコルンアルゴリズムを拡張する一般化された凸正則化最適輸送（OT）損失のクラスを導入する。双対性と一般化された変換を活用することで、離散的および連続的設定の両方において、得られる一般化シンコルンアルゴリズムの存在、連続性、微分可能性、収束保証を確立する。応用例として、マルチマージナルOTおよびワッサーシュタインバリオセントラムが含まれる。

ABSTRACT

We introduce a new class of convex-regularized Optimal Transport losses, which generalizes the classical Entropy-regularization of Optimal Transport and Sinkhorn divergences, and propose a generalized Sinkhorn algorithm. Our framework unifies many regularizations and numerical methods previously appeared in the literature. We show the existence of the maximizer for the dual problem, complementary slackness conditions, providing a complete characterization of solutions for such class of variational problems. As a consequence, we study structural properties of these losses, including continuity, differentiability and provide explicit formulas for the its gradient. Finally, we provide theoretical guarantees of convergences and stability of the generalized Sinkhorn algorithm, even in the continuous setting. The techniques developed here are directly applicable also to study Wasserstein barycenters or, more generally, multi-marginal problems.

研究の動機と目的

• シャノンエントロピーを超える既存の正則化最適輸送手法を統一・一般化し、機械学習分野におけるより広範な応用を可能にすること。
• 新しい凸正則化OT損失のクラスの理論的基盤を確立すること—存在、連続性、微分可能性を含む。
• 一般凸正則化下で収束性と安定性を保つ一般化シンコルンアルゴリズムの開発と分析。
• マルチマージナル最適輸送およびワッサーシュタインバリオセントラムへのフレームワークの拡張と理論的保証。
• 数値計算に適した明示的な勾配式とメッシュに依存しない収束結果の提供。

提案手法

• 正則化項に凸関数 $\Phi$ を用いた一般化された凸正則化OT問題を形式化し、エントロピーとシンコルン距離を一般化する。
• 正則化OT問題の双対形式を導出し、ポテンシャル関数のための一般化された $\Phi$-変換を定義する。
• $\Phi$-変換を用いた双対ポテンシャルの交互最大化により、一般化シンコルンアルゴリズムを導入する。
• 離散的および連続的設定の両方において、$L^p$-ノルムにおけるアルゴリズムの収束性と安定性を証明し、メッシュサイズに依存しない。
• 最適解を完全に特徴付けるために、補完性スラック条件と双対性条件を確立する。
• 再帰的 $\Phi$-変換を用いてマルチマージナルOT問題へのフレームワークの拡張を行い、一般化マルチマージナルシンコルンアルゴリズムの収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 シャノンエントロピーを超える任意の凸正則化に対して、シンコルンアルゴリズムを一般化できるか？
• RQ2 凸正則化OT損失の構造的性質—連続性、微分可能性、勾配式—は何か？
• RQ3 一般化シンコルンアルゴリズムは、離散的および連続的設定の両方でどのような条件下で収束するか？
• RQ4 双対性フレームワークは、一般凸正則化を伴うマルチマージナル最適輸送問題へどのように拡張できるか？
• RQ5 一般凸正則化を伴う一般化OT問題に対して、存在、一意性、安定性といった理論的保証はどのようなものか？

主な発見

• 双対問題の最大化解の存在が証明され、補完性スラック条件とともに、プライム解を完全に特徴づける。
• 凸正則化OT損失が周辺分布に関して弱*連続であり、明示的な勾配式を有することが示された。
• 一般化シンコルンアルゴリズムは、$L^p$-ノルムにおいて最適輸送計画に収束し、離散化のメッシュサイズに依存しない。
• アルゴリズムは連続的設定においても安定性と収束性を維持し、離散的および連続的OT問題の両方に対して理論的保証を持つ。
• フレームワークはマルチマージナル最適輸送へ拡張可能であり、一般化マルチマージナルシンコルンアルゴリズムの収束を証明した。
• 本手法は、さまざまな既存の正則化を統一し、生成モデルやバリオセントラム計算における実用的応用の理論的基盤を提供する。