[論文レビュー] Interpolating between Optimal Transport and MMD using Sinkhorn Divergences

Jean Feydy, Thibault Séjourné+4 more|arXiv (Cornell University)|Oct 18, 2018

Probabilistic and Robust Engineering Design参考文献 29被引用数 142

ひとこと要約

本論文は、OTとMMDを補間するSinkhorn発散を導入し、それらの正定性・凸性・収束性の計量性を証明し、大規模な分布比較のためのGPU対応スケーラブルなアルゴリズムを提示する。

ABSTRACT

Comparing probability distributions is a fundamental problem in data sciences. Simple norms and divergences such as the total variation and the relative entropy only compare densities in a point-wise manner and fail to capture the geometric nature of the problem. In sharp contrast, Maximum Mean Discrepancies (MMD) and Optimal Transport distances (OT) are two classes of distances between measures that take into account the geometry of the underlying space and metrize the convergence in law. This paper studies the Sinkhorn divergences, a family of geometric divergences that interpolates between MMD and OT. Relying on a new notion of geometric entropy, we provide theoretical guarantees for these divergences: positivity, convexity and metrization of the convergence in law. On the practical side, we detail a numerical scheme that enables the large scale application of these divergences for machine learning: on the GPU, gradients of the Sinkhorn loss can be computed for batches of a million samples.

研究の動機と目的

• 確率測度を比較する際に地上幾何を考慮した幾何的損失を動機づける。
• Sinkhorn発散をOTとMMDの調整可能な補間として導入する。
• 正定性、凸性、および収束を法として計量化する性質の理論的保証を確立する。
• Sinkhorn発散の大規模なGPU加速計算を可能にするスケーラブルな数値計画（数値スキーム）を提供する。

提案手法

• エントロピー正則化を施したOTを OT_epsilon とし、Sinkhorn発散を S_epsilon と定義する。
• 対偶定式および弱-*凸エントロピーによってSinkhorn negentropy F_epsilon を導入する。
• S_epsilon(α,β) = OT_epsilon(α,β) - 1/2 OT_epsilon(α,α) - 1/2 OT_epsilon(β,β) を証明する。
• F_epsilon が厳密に凸であることを確立し、対称的Bregman発散として Hausdorff 発散 H_epsilon を導出する。
• S_epsilon が各入力に対して凸であり、滑らかで、lawの収束を計量化することを示す。
• S_epsilon とその勾配を計算するためのGPU対応のアルゴリズムパイプラインを提供し、双対ポテンシャルと自己項の対称的対角更新を用いる。

実験結果

リサーチクエスチョン

• RQ1 Sinkhorn発散は確率測度の法則収束を計量化する正定値損失を提供するか？
• RQ2 S_epsilon は OT（ε→0）とMMD様の挙動（εが大きい場合）との間をどのように補間するか？
• RQ3 GPU加速を用いて大規模でS_epsilonとその勾配を効率的に計算できるか？
• RQ4 S_epsilonおよび関連する双対ポテンシャルの理論的性質（正性、凸性、滑らかさ）は何か？
• RQ5 実践的な学習タスクにおいて、S_epsilon の補正項を介して OT_epsilon のバイアスを除去する方法は？

主な発見

• S_epsilon は対称で正定値の滑らかな損失であり、各入力に対して凸で、法則収束を計量化する。
• S_epsilon は OT（ε→0）と2乗カーネルに似たノルム（εが大きい場合）の間を補間する。
• 著者らは Sinkhorn negentropy F_epsilon の正定性と厳密な凸性を証明し、解析のための Hausdorff 発散を導出する。
• 彼らは二重ポテンシャルに基づく計算手法を提供し、百万規模のバッチに対する勾配計算を可能にする。
• 実装は Sinkhorn 反復、対称的対角更新、GPU加速パイプライン、バッチ処理、大規模メモリ効率のための KeOps ライブラリを含む。
• 経験的な議論は、S_epsilon が OT_epsilon に存在するエントロピー偏りを軽減し、安定で勾配適応的な最適化を提供することを示している。