[論文レビュー] Learning with minibatch Wasserstein : asymptotic and gradient properties

Kilian Fatras, Younes Zine+3 more|arXiv (Cornell University)|Oct 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 17

ひとこと要約

この論文はミニバッチ Wasserstein 学習を分析し、不偏勾配と濃度バインディングを提供することを示しており、大規模な学習における安定した最適化を可能にする。真の距離の性質を失うものの、メモリ使用量の削減や GAN、勾配フロー、カラー変換における効果的な性能といった実用上の利点を提供しており、バッチサイズとバッチ数を制御した複数のタスクにおいて実証的に検証されている。

ABSTRACT

Optimal transport distances are powerful tools to compare probability distributions and have found many applications in machine learning. Yet their algorithmic complexity prevents their direct use on large scale datasets. To overcome this challenge, practitioners compute these distances on minibatches {\em i.e.} they average the outcome of several smaller optimal transport problems. We propose in this paper an analysis of this practice, which effects are not well understood so far. We notably argue that it is equivalent to an implicit regularization of the original problem, with appealing properties such as unbiased estimators, gradients and a concentration bound around the expectation, but also with defects such as loss of distance property. Along with this theoretical analysis, we also conduct empirical experiments on gradient flows, GANs or color transfer that highlight the practical interest of this strategy.

研究の動機と目的

• 大規模機械学習における広く使われているが、あまり理解されていないミニバッチ最適輸送の理論的性質を理解すること。
• ミニバッチ OT が不偏性や濃度といった望ましい統計的および最適化的性質を保持するかどうかを分析すること。
• 実用的応用において計算効率と距離メトリックの性質の損失の間のトレードオフを評価すること。
• GAN のトレーニング、勾配フロー、カラー変換といった実世界のタスクにおけるミニバッチ OT の有効性を示すこと。

提案手法

• データのランダムサブセット上で複数の小さな最適輸送問題の平均化としてミニバッチ最適輸送を形式化する。
• ミニバッチ推定子の漸近的性質を導出し、期待値において真の OT 距離に収束することを証明する。
• データ次元に依存しない濃度バインディングを確立し、安定性を保証する。
• ミニバッチ損失の勾配が不偏であることを証明し、SGD を用いた確率的最適化における使用を正当化する。
• 全コスト行列と輸送行列を保存しなくてよいインクリメンタルアルゴリズムを提案し、メモリ使用量を削減する。
• geomloss パッケージとカスタム実装を用いて、2次元分布、CelebA、カラー変換タスクにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ最適輸送は真の最適輸送距離の不偏推定子をもたらすか？
• RQ2 ミニバッチ OT 推定子の漸近的挙動は何か？また、データ次元に依存しない濃度バインディングを導出できるか？
• RQ3 ミニバッチ OT 損失の勾配は不偏か？SGD を用いた最適化における使用を支持するか？
• RQ4 バッチ数 $k$ とバッチサイズ $m$ が、GAN やカラー変換といった実用的応用における性能にどのように影響するか？
• RQ5 ミニバッチ戦略は、計算コストを削減しながらも、分布構造をどの程度保っているか？

主な発見

• ミニバッチ OT 推定子は漸近的に不偏であり、真の OT 距離のまわりに濃度が集中し、データ次元に依存しない濃度バインディングが成立する。
• ミニバッチ OT 損失の勾配は不偏であるため、深層モデルのトレーニングに確率的勾配降下法を用いることの正当化が得られる。
• バッチ数 $k$ を増やすことで、バッチサイズ $m$ が小さい場合に、分散が低減され、カラー変換における画像解像度が向上する。
• バッチサイズ $m=10$、$k=5000$ の組み合わせでは解像度が十分でなかったが、$m=1000$、$k=5000$ の場合では高品質な結果が得られ、バッチサイズの重要性が示された。
• ミニバッチ OT は勾配フローや GAN においても良好に機能し、大きなバッチサイズでは正確な分布マッチングと滑らかな遷移が得られる。
• カラー変換用のインクリメンタルアルゴリズムは全行列の保存を回避し、大規模データセットにおけるスケーラブルなバーキューリックマッピングを可能にする。