[論文レビュー] Unbalanced minibatch Optimal Transport; applications to Domain Adaptation

Kilian Fatras, Thibault Séjourné+2 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 72被引用数 34

ひとこと要約

本論文は、 不均衡ミニバッチ最適輸送（MBOT）を提案し、ミニバッチOTの堅牢性を改善する。理論的性質を解明し、標準OTおよび関連ベースラインに対して優れたドメイン適応性能を示す。

ABSTRACT

Optimal transport distances have found many applications in machine learning for their capacity to compare non-parametric probability distributions. Yet their algorithmic complexity generally prevents their direct use on large scale datasets. Among the possible strategies to alleviate this issue, practitioners can rely on computing estimates of these distances over subsets of data, {\em i.e.} minibatches. While computationally appealing, we highlight in this paper some limits of this strategy, arguing it can lead to undesirable smoothing effects. As an alternative, we suggest that the same minibatch strategy coupled with unbalanced optimal transport can yield more robust behavior. We discuss the associated theoretical properties, such as unbiased estimators, existence of gradients and concentration bounds. Our experimental study shows that in challenging problems associated to domain adaptation, the use of unbalanced optimal transport leads to significantly better results, competing with or surpassing recent baselines.

研究の動機と目的

• 大規模学習とドメイン適応における標準ミニバッチOTの限界を動機づけて対処する。
• ミニバッチレベルで不均衡OTの定式化を導入し、誤って結びつくサンプル対を減らす。
• 勾配の存在、尺度不偏推定量、濃度境界といった理論的保証を提供する。
• 困難なデータセットに対して不均衡MBOTが堅牢なドメイン適応性能を実証的に示す。

提案手法

• Csiszár発散を用いた周辺制約の緩和としてミニバッチ不均衡OT（UOT）を定義する。
• 全ミニバッチ対に対してUOTコストを平均するミニバッチ推定量を採用し、計算量を削減する不完全（kサンプル）推定量を併用する。
• UOTコストの有界性と最適輸送のコンパクト性を証明し、濃度境界を可能にする。
• Clarke正則性を用いて勾配が不偏である性質を確立し、SGD最適化を可能にする。
• MBOTがミニバッチにおける望ましくないサンプル結合を緩和し、スケーラブルなコストを用いて不均衡OTに密接に近似することを示す。
• MBOTフレームワークを、埋め込みとラベルマッピングを不均衡ミニバッチOT損失の下で同時最適化するドメイン適応法（jumbot）に適用する。

実験結果

リサーチクエスチョン

• RQ1 標準のミニバッチOTはサンプリングや外れ値の下でどのように振る舞い、周辺制約を緩和することでロバスト性を向上させられるか。
• RQ2 ミニバッチ不均衡OTの統計的・最適化的性質（存在、不偏勾配、濃度）とは何か。
• RQ3 不均衡MBOTは balanced OT や他のOT変種と比較してドメイン適応性能を向上させるか。
• RQ4 MBOTが勾配ベースの学習や大規模ニューラルネットワークのドメイン適応訓練に与える実務的影響は何か。
• RQ5 ベンチマークDAデータセット（Digits、Office-Home、VisDA）における不均衡MBOTの性能は、最先端手法と比してどうか。

主な発見

• 不均衡MBOTはミニバッチレベルでより堅牢な輸送計画を生み出し、標準MBOTで見られる誤ったクラス間ペアリングを減らす。
• 理論的結果は有限のUOTコスト、境界付き最適計画、およびデータ次元に依存しない推定量の濃度境界を確立する。
• MBOTはClarke正則性の下で不偏勾配推定量を提供し、モデル学習のためのSGD最適化を可能にする。
• ドメイン適応の実証研究は、UOTベースのアプローチが最新のベースラインや最先端のOTベース手法と競合するか、あるいは上回ることを示す。
• MBOTから導出される勾配は最適化にバイアスを導入せず、ニューラルネットワークの埋め込みと分類器の信頼性の高い訓練を支援する。
• 不均衡な定式化はOTの外れ値やサンプリングへの感度を緩和し、勾配流とDAタスクの安定性を向上させる。