[論文レビュー] Generalizing to Unseen Domains via Adversarial Data Augmentation

Riccardo Volpi, Hongseok Namkoong+4 more|arXiv (Cornell University)|May 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 365

ひとこと要約

本論文は、未知のドメインへの一般化を改善するために、Wasserstein に基づく最悪ケースの定式化を用いた意味空間での敵対的データ拡張を導入し、訓練時の反復的な拡張手法と未知のターゲットシフトに対するアンサンブルモデルを提案する。

ABSTRACT

We are concerned with learning models that generalize well to different \emph{unseen} domains. We consider a worst-case formulation over data distributions that are near the source domain in the feature space. Only using training data from a single source distribution, we propose an iterative procedure that augments the dataset with examples from a fictitious target domain that is "hard" under the current model. We show that our iterative scheme is an adaptive data augmentation method where we append adversarial examples at each iteration. For softmax losses, we show that our method is a data-dependent regularization scheme that behaves differently from classical regularizers that regularize towards zero (e.g., ridge or lasso). On digit recognition and semantic segmentation tasks, our method learns models improve performance across a range of a priori unknown target domains.

研究の動機と目的

• 単一のソース分布のみが利用可能な状況で、未知のドメインへ一般化する学習モデルを動機づける。
• 意味空間におけるWasserstein距離を用いた最悪ケースの分布ロバストネス問題を定式化する。
• 訓練中に敵対的サンプルを追加する反復的な適応データ拡張アルゴリズムを開発する。
• 本手法がソフトマックス損失に対するデータ依存の正則化として機能し、ターゲット距離レベル全体でのアンサンブル戦略を可能にすることを示す。

提案手法

• ネットワーク表現により誘導される意味空間内の分布間のWasserstein距離 D_theta を定義する。
• ペナルティパラメータ gamma を用いて最悪ケース問題を緩和し、ロバストな代理損失 phi_gamma を得る。
• 反復的に最大化ステップを実行して敵対的（難易度の高い）サンプルを生成する。解くべき式: x^*_gamma = argmax_x { ell(theta; (x, y)) - gamma c_theta((x, y), (x0, y)) }、次に拡張データセット上での SGD による最小化ステップを行う。
• 拡張サンプルを、意味空間でのティホノフ正則化ニュートン法の近似を表す適応データ拡張として解釈する。
• 分類の場合、ロバスト代理損失 phi_gamma がデータ依存の正則化項に対応し、真のラベル分類器とクラス固有分類器のソフト平均との整合を促進することを示す。
• 異なる gamma 値で複数のモデルを訓練し、テスト時にソフトマックス信頼度を用いて選択するアンサンブル手法を提供する。

実験結果

リサーチクエスチョン

• RQ1 敵対的データ拡張で訓練されたモデルは、訓練時にターゲットドメインデータへアクセスせずに、未知のターゲットドメインへ一般化できるか。
• RQ2 意味空間のWassersteinロバスト性は、ピクセル空間の摂動や標準的な正則化と比較して、横断ドメイン一般化を改善する上でどうか。
• RQ3 異なるターゲット距離レベルを持つモデルのアンサンブルが、テスト時の頑健な予測を選択する上でどの役割を果たすか。
• RQ4 提案手法は、多様な未知ドメインシフトの下で、数字認識と意味セグメンテーションの両方で性能向上をもたらすか。

主な発見

• 本手法は、複数の未知ターゲットにわたる数字認識ベンチマークで横断ドメイン一般化の改善をもたらす。
• このアプローチは、ERMベースラインと比べて季節や天候条件が異なる場合の意味セグメンテーション性能を向上させる。
• ソフトマックス信頼度に基づくテスト時のモデル選択を用いると、さまざまな頑健性レベルのモデルのアンサンブルがさらなる利得をもたらす。
• 最大化ステップは、意味空間で適応的なデータ依存のニュートン様更新に対応する敵対的サンプルを生成し、効果的な拡張として機能する。
• ソフトマックス損失の場合、ロバスト代理損失はデータ依存の正則化として機能し、真のラベル分類器とクラス分類器の重み付き平均との整合を促す。