[論文レビュー] Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation

Yogesh Balaji, Rama Chellappa+1 more|arXiv (Cornell University)|Oct 12, 2020

Infrastructure Maintenance and Monitoring被引用数 12

ひとこと要約

本稿では、マージナル制約を緩和することで外れ値への感受性を軽減する計算的に効率的なロバスト最適輸送（OT）の双対形式を提案する。この手法により、深層学習における安定した学習が可能となり、ノイズの多いデータセットにおいて最先端のGAN性能を達成するとともに、生成の難易度を反映するサンプル固有の重みを学習することでドメイン適応の精度を向上させる。

ABSTRACT

Optimal Transport (OT) distances such as Wasserstein have been used in several areas such as GANs and domain adaptation. OT, however, is very sensitive to outliers (samples with large noise) in the data since in its objective function, every sample, including outliers, is weighed similarly due to the marginal constraints. To remedy this issue, robust formulations of OT with unbalanced marginal constraints have previously been proposed. However, employing these methods in deep learning problems such as GANs and domain adaptation is challenging due to the instability of their dual optimization solvers. In this paper, we resolve these issues by deriving a computationally-efficient dual form of the robust OT optimization that is amenable to modern deep learning applications. We demonstrate the effectiveness of our formulation in two applications of GANs and domain adaptation. Our approach can train state-of-the-art GAN models on noisy datasets corrupted with outlier distributions. In particular, our optimization computes weights for training samples reflecting how difficult it is for those samples to be generated in the model. In domain adaptation, our robust OT formulation leads to improved accuracy compared to the standard adversarial adaptation methods. Our code is available at this https URL.

研究の動機と目的

• データ分布におけるノイズや外れ値の影響に対して標準的な最適輸送が感受しやすい問題に対処すること。
• 深層学習の応用に適した安定的でスケーラブルなロバストOTの双対最適化定式化を開発すること。
• 外れ値分布を含むデータセットに対しても、効果的な生成モデリングを可能にすること。
• ロバストなソース・ドメインからターゲット・ドメインへのアライメントを学習することで、ドメイン適応の性能を向上させること。
• 現代の深層学習のトレーニングパイプラインと互換性がある実用的で微分可能なOTフレームワークを提供すること。

提案手法

• 外れ値の影響を低減するため、非対称なマージナル制約を備えたロバストOTの双対形を導出する。
• 深層ネットワークにおける誤差逆伝播に適した微分可能で安定した最適化手法を導入する。
• 生成の難易度に応じてトレーニングサンプルに適応的な重みを割り当て、ノイズに強い性質を反映する。
• 分布アライメント中に外れ値を軽減するため、緩められたマージナル制約を採用する。
• GANおよびドメイン適応フレームワークに、微分可能な目的関数としてロバストOT損失を統合する。
• 双対最適化における不安定性を回避する計算的に効率的なソルバを用いる。

実験結果

リサーチクエスチョン

• RQ1 非対称なマージナルを備えたロバスト最適輸送を、深層学習に適した安定的で微分可能な双対形に定式化できるか？
• RQ2 提案手法のロバストOT定式化は、外れ値分布を含むデータセットにおけるGANトレーニングをどのように改善するか？
• RQ3 標準的なアドバーシャル適応と比較して、この手法はドメイン適応の精度をどの程度向上させるか？
• RQ4 この手法は、生成モデリングにおける生成の難易度を反映する意味のあるサンプル重みを学習できるか？
• RQ5 ロバストOT損失は、深層生成モデルにおけるより安定的で信頼性の高いトレーニングをもたらすか？

主な発見

• 提案されたロバストOT定式化は、外れ値分布を含むデータセットにおけるGANトレーニングで最先端の性能を達成する。
• 本手法は、トレーニング中に困難またはノイズの多いサンプルを効果的に特定・軽減するサンプル固有の重みを学習する。
• ドメイン適応において、本手法は標準的なアドバーシャル適応ベースラインを上回る精度を実現する。
• 双対最適化スキームは安定的でスケーラブルであり、深層学習フレームワークにおけるエンドツーエンドトレーニングを可能にする。
• データ事前クリーニングを必要とせずに、ノイズへの耐性が向上することが実証された。
• コードは公開されており、再現性の確保および既存の深層学習パイプラインへの統合を支援する。