[論文レビュー] Minibatch optimal transport distances; analysis and applications

Kilian Fatras, Younes Zine+4 more|arXiv (Cornell University)|Jan 5, 2021

Optimization and Search Problems参考文献 74被引用数 17

ひとこと要約

本稿は、ミニバッチ最適輸送（MBOT）距離の理論的分析を提案し、標準的なミニバッチ処理で失われる重要な距離の性質を回復する非バイアス化MBOT推定器を導入する。不偏勾配、濃縮バウンド、およびGAN、カラーテンプレート移行、メッシュ比較の応用における優れたスケーラビリティと不変性を示し、実行時間はデータサイズに立方的にではなく線形的に増加する。

ABSTRACT

Optimal transport distances have become a classic tool to compare probability distributions and have found many applications in machine learning. Yet, despite recent algorithmic developments, their complexity prevents their direct use on large scale datasets. To overcome this challenge, a common workaround is to compute these distances on minibatches i.e. to average the outcome of several smaller optimal transport problems. We propose in this paper an extended analysis of this practice, which effects were previously studied in restricted cases. We first consider a large variety of Optimal Transport kernels. We notably argue that the minibatch strategy comes with appealing properties such as unbiased estimators, gradients and a concentration bound around the expectation, but also with limits: the minibatch OT is not a distance. To recover some of the lost distance axioms, we introduce a debiased minibatch OT function and study its statistical and optimisation properties. Along with this theoretical analysis, we also conduct empirical experiments on gradient flows, generative adversarial networks (GANs) or color transfer that highlight the practical interest of this strategy.

研究の動機と目的

• 大規模機械学習におけるミニバッチ最適輸送（MBOT）の理論的理解の不足に取り組むが、その広範な使用にもかかわらず。
• WassersteinおよびGromov-Wassersteinを含むさまざまな最適輸送カーネルにMBOTを適用した際の統計的および最適化的性質を調査する。
• 標準的なMBOTが正しく距離でないという根本的制限を克服するため、分離性といった重要な公理を回復する非バイアス化MBOT推定器を導入する。
• ミニバッチ推定器とその期待値との間の非漸近的逸脱バウンドを提供し、統計的信頼性を保証する。
• GANの訓練、勾配フロー、カラーテンプレート移行、メッシュ比較といった多様な応用において、MBOTおよびその非バイアス化バージョンの実用的有用性を実証する。

提案手法

• サンプリングを復元なしにすることで、MBOTの形式的フレームワークを定義し、推定器の厳密な統計的分析を可能にする。
• 標準的なミニバッチ平均化におけるバイアスを補正する非バイアス化MBOT関数を提案し、距離の分離性の性質を回復する。
• MBOT推定器の濃縮バウンドを確立し、ミニバッチ数が増加するにつれて真の期待OT距離に収束することを示す。
• MBOT損失の勾配が不偏であることを証明し、深層学習における安定な確率的最適化を可能にする。
• Python Optimal Transport（POT）ツールボックスを用いて、合成データおよび実世界のデータセット上で手法を実装・評価する。
• MBOTおよび非バイアス化MBOTを勾配フロー、GAN、カラーテンプレート移行、メッシュ上のGromov-Wassersteinに適用し、実効性を実証する。

実験結果

リサーチクエスチョン

• RQ1 リプレースあり／なしの異なるサンプリング戦略が、ミニバッチ最適輸送推定器の統計的性質にどのように影響するか？
• RQ2 なぜ標準的なミニバッチOTが距離の公理を満たさないのか、そしてこれを是正できるか？
• RQ3 ミニバッチOT推定器の統計的収束性質は何か？非漸近的逸脱バウンドを確立できるか？
• RQ4 ミニバッチOT損失は、GANのような確率的最適化設定における不偏勾配をサポートするか？
• RQ5 実世界の応用、たとえばGANやメッシュ解析において、提案された非バイアス化MBOTの性能は、標準OTおよび他のベースラインと比べてどうか？

主な発見

• 標準的なミニバッチOT推定器は、分離性公理の喪失により正しく距離とは言えないが、期待OT距離の不偏推定器のままである。
• 提案された非バイアス化MBOT関数は、分離性の性質を回復させ、計算効率を保ちつつ有効な距離に類する測度を実現する。
• ミニバッチOT推定器は、期待値の周囲に濃縮バウンドを示し、ミニバッチ数が増加するにつれて逸脱が減少する。
• ミニバッチOT損失の勾配は不偏であるため、GANのような確率的最適化設定での安定な学習が可能である。
• 実験では、ミニバッチGromov-Wasserstein（MBGW）損失はデータサイズに線形にスケーリングされ、10⁴点のデータセットではフルGWに比べ最大100倍速くなった。
• 色移行およびらせん回転実験において、MBGW損失は実際には回転不変性を示し、角度にかかわらず損失が一定を保った。