[論文レビュー] Sinkhorn Barycenters with Free Support via Frank-Wolfe Algorithm

Giulia Luise, Saverio Salzo+2 more|arXiv (Cornell University)|May 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 3被引用数 9

ひとこと要約

本稿では、支持の事前割り当てを避け、段階的に補助支持を構築することで、自由支持付きSinkhorn重心を計算する新しいFrank-Wolfeベースのアルゴリズムを提案する。離散的および連続的分布の両方に対して収束速度を確立するため、Total Variationに対してSinkhorn散乱の勾配のリプシッツ連続性を証明し、Sinkhornポテンシャルのサンプル複雑度を同定することで、任意の確率測度に対する安定した最適化を可能にする。

ABSTRACT

We present a novel algorithm to estimate the barycenter of arbitrary probability distributions with respect to the Sinkhorn divergence. Based on a Frank-Wolfe optimization strategy, our approach proceeds by populating the support of the barycenter incrementally, without requiring any pre-allocation. We consider discrete as well as continuous distributions, proving convergence rates of the proposed algorithm in both settings. Key elements of our analysis are a new result showing that the Sinkhorn divergence on compact domains has Lipschitz continuous gradient with respect to the Total Variation and a characterization of the sample complexity of Sinkhorn potentials. Experiments validate the effectiveness of our method in practice.

研究の動機と目的

• 支持を事前に固定せずに、Sinkhorn散乱下での確率測度の重心を計算する課題に対処すること。
• 高次元設定において、固定支持や交互最適化手法の限界を克服すること。
• 理論的裏付けがあり、メモリ効率が良く、入力分布の内在的構造に適応する重心計算手法を提供すること。
• 有限および連続的設定の両方において、Sinkhornポテンシャルの収束速度およびサンプル複雑度の境界を確立すること。

提案手法

• アルゴリズムはFrank-Wolfeフレームワークを用い、事前の割り当てや交互最適化を避けるために、段階的に新しい支持点を追加し、重みを更新する。
• 各反復で線形部分問題を解くことでスパarsityを維持し、収束を保証する条件勾配戦略を活用する。
• 確率測度の空間上で直接動作し、線形部分問題は定義域上の最大化により次なる支持点を選択する。
• 主な革新点は、空集合を内包する集合上で定義された目的関数にFrank-Wolfeアルゴリズムを一般化したことであり、これはSinkhorn重心問題に適用可能である。
• 理論的分析は、コンact領域上でSinkhorn散乱の勾配がTotal Variationに対してリプシッツ連続であることを証明することに依拠する。
• 連続的設定における近似計算を理論的保証とともに可能にするために、Sinkhornポテンシャルのサンプル複雑度を同定する。

実験結果

リサーチクエスチョン

• RQ1 事前に支持を定義せず、または交互最適化を用いずに、自由支持付き重心計算を達成できるか？
• RQ2 提案されたFrank-Wolfeベースのアルゴリズムの、離散的および連続的確率測度における収束速度は何か？
• RQ3 連続的設定におけるSinkhornポテンシャルの正則性は、サンプル複雑度および最適化安定性にどのように影響するか？
• RQ4 Sinkhorn散乱の勾配に関して、リプシッツ連続性の理論的保証をどのように提供できるか？
• RQ5 Frank-Wolfe法は、空集合を内包する集合上で定義された最適化問題（例：重心問題）に適応可能か？

主な発見

• コンパクト領域上で、Sinkhorn散乱の勾配がTotal Variationノルムに関してリプシッツ連続であることが示され、Frank-Wolfeアルゴリズムの収束保証が可能になる。
• 2つの経験的分布に対するSinkhornポテンシャルのサンプル複雑度が同定され、連続的設定における堅牢な近似の基盤が提供される。
• 提案されたアルゴリズムは、有限次元および無限次元の分布の両方で収束速度を達成し、ポテンシャルの正則性から導かれる明示的な境界が得られる。
• Frank-Wolfe法は、空集合を内包する集合上で定義された目的関数に一般化され、これは重心問題にとって極めて重要である。
• 実験結果により、3次元メッシュなどの離散的測度およびガウス分布の連続的混合分布において、本手法の有効性が検証され、安定的かつ正確な重心推定が得られる。