[論文レビュー] Domain Adversarial Neural Networks for Domain Generalization: When It Works and How to Improve

Anthony Sicilia, Xingchen Zhao+1 more|arXiv (Cornell University)|Feb 7, 2021

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本論文は、ドメイン一般化（DG）におけるドメイン対抗ニューラルネットワーク（DANN）の理論的裏付けを調査し、標準的なDANNバージョンが、目標誤差バインドに一致しないことが判明した。これは、訓練時にのみソースドメインにのみアライメントを行うためである。この問題を解決するために、著者らはDANNCE—訓練中に合成されたターゲットに似た画像を動的に生成することでドメインアライメントと一般化を向上させる、新しいアルゴリズムを提案する。PACSおよびOfficeHomeベンチマークにおいて、ベースラインDANNに比べて平均で0.6%の精度向上を達成し、最先端の性能を実現した。

ABSTRACT

Theoretically, domain adaptation is a well-researched problem. Further, this theory has been well-used in practice. In particular, we note the bound on target error given by Ben-David et al. (2010) and the well-known domain-aligning algorithm based on this work using Domain Adversarial Neural Networks (DANN) presented by Ganin and Lempitsky (2015). Recently, multiple variants of DANN have been proposed for the related problem of domain generalization, but without much discussion of the original motivating bound. In this paper, we investigate the validity of DANN in domain generalization from this perspective. We investigate conditions under which application of DANN makes sense and further consider DANN as a dynamic process during training. Our investigation suggests that the application of DANN to domain generalization may not be as straightforward as it seems. To address this, we design an algorithmic extension to DANN in the domain generalization case. Our experimentation validates both theory and algorithm.

研究の動機と目的

• ドメイン適応の文脈で導出されたDANNの理論的裏付けが、訓練時にターゲットデータが利用できないドメイン一般化の文脈でも成立するかを調査すること。
• 特にDGの文脈において、動的変化する量としてのターゲット誤差バインドの挙動を分析すること。
• 混合分布を超える追加の参照オブジェクトを同定し、ドメイン一般化における有効なターゲット誤差バインドを導出するための条件を満たすものとする。
• 訓練中にターゲットに似たデータをシミュレートすることで、DGにおける一般化性能を向上させるDANNのアルゴリズム的拡張を設計すること。

提案手法

• 著者らは、Albuquerqueら（2019）の理論フレームワークを拡張し、ドメイン一般化におけるターゲット誤差バインドを導出するための条件を満たす参照オブジェクトを同定した。
• 彼らはDANNCEを提案する。この手法は、訓練中に画像空間における勾配更新を用いて合成されたターゲットに似た画像を生成し、それをドメイン識別器の学習に使用する。
• アルゴリズムは、入力空間でAdam最適化手法を用いて反復的な画像更新を実行し、勾配に基づく摂動によって現実的でドメインに依存しない画像を生成する。
• 高周波数アーティファクトを抑制し、画像の現実性を維持するために、4ステップごとにガウスぼかしを適用する。これにより一般化性能が向上する。
• ハイパーパrameterは、未観測のターゲットドメインを含まない、実際のDGシナリオを模倣するための1ソースドメインを除いた交差検証により選定された。
• ドメイン識別器と分類器をマルチタスク学習スキームで統合し、ドメイン識別器は実際のソースドメインと合成されたターゲットに似た画像を区別するように訓練された。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応を目的として設計された元のDANNアルゴリズムが、ドメイン一般化に適用された場合でも理論的に正当化されるか？
• RQ2 混合分布を超えて、ドメイン一般化における有効なターゲット誤差バインドを導出するためのキーパラメータを満たす追加の参照オブジェクトは何か？
• RQ3 ドメイン一般化における訓練プロセス中、ターゲット誤差バインドはどのように動的に変化するか？
• RQ4 動的で画像ベースのデータ拡張戦略は、標準的なDANNを上回るドメイン一般化性能を向上させることができるか？

主な発見

• PACSデータセットにおいて、DANNCEはベースラインDANNに比べて平均で0.6%の精度向上を達成し、スケッチドメインでは1.6%の向上も観察された。
• アブレーションスタディの結果、性能向上がガウスぼかしによるものではないことが確認された。ぼかしのみを適用した場合、性能は低下した。
• ぼかしを適用しないDANNCEは、ベースラインDANNと同等の性能を示した。これは、主な改善要因がぼかしではなく、画像空間における勾配更新にあることを示している。
• ハイパーパrameterが、未観測のターゲットドメインを除いた1ソースドメインを除く交差検証により選定されたことから、本手法は現実的なDG設定において一般化性能を向上させた。
• 理論的分析により、ターゲット分布をよりよく近似する参照オブジェクトにアライメントすることで、よりタイトなターゲット誤差バインドが得られることを確認した。
• 訓練中のターゲット誤差バインドの動的挙動は、DGにおける適応的でデータ拡張に基づくアプローチ（例：DANNCE）の必要性を裏付けた。