[論文レビュー] Episodic Training for Domain Generalization

Da Li, Jianshu Zhang+4 more|arXiv (Cornell University)|Jan 31, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 29

ひとこと要約

本論文は、特徴抽出モジュールと分類器モジュールの敵対的相互作用を通じて訓練中にドメインシフトをシミュレートすることにより、ドメイン一般化（DG）のためのエピソード型訓練を提案している。この手法は、標準的なDGベンチマークで最先端の性能を達成し、大規模なVisual Decathlonベンチマークにおける下流タスクのためのImageNet事前学習済み特徴のロバスト性を向上させた。

ABSTRACT

Domain generalization (DG) is the challenging and topical problem of learning models that generalize to novel testing domains with different statistics than a set of known training domains. The simple approach of aggregating data from all source domains and training a single deep neural network end-to-end on all the data provides a surprisingly strong baseline that surpasses many prior published methods. In this paper, we build on this strong baseline by designing an episodic training procedure that trains a single deep network in a way that exposes it to the domain shift that characterises a novel domain at runtime. Specifically, we decompose a deep network into feature extractor and classifier components, and then train each component by simulating it interacting with a partner who is badly tuned for the current domain. This makes both components more robust, ultimately leading to our networks producing state-of-the-art performance on three DG benchmarks. Furthermore, we consider the pervasive workflow of using an ImageNet trained CNN as a fixed feature extractor for downstream recognition tasks. Using the Visual Decathlon benchmark, we demonstrate that our episodic-DG training improves the performance of such a general-purpose feature extractor by explicitly training a feature for robustness to novel problems. This shows that DG training can benefit standard practice in computer vision.

研究の動機と目的

• ターゲットドメインデータが入手不可である状況下でドメインシフトに対するモデルのロバスト性を向上させること。これはドメイン一般化（DG）における主要な挑戦である。
• 複雑なアーキテクチャや最適化手法に依存せず、一般化性能を向上させるシンプルでモデルに依存しない訓練手法を開発すること。
• 孤立したベンチマークを超えてDG訓練の実用的価値を示すために、ImageNet事前学習済み特徴を用いた標準的なビジョンワークフローの改善を実証すること。
• 多様なドメインとラベル空間を有する大規模・多様性に富んだベンチマーク（Visual Decathlon）におけるエピソード型DGの評価を行うこと。

提案手法

• 深層ネットワークを特徴抽出モジュールと分類器モジュールに分解し、それぞれを「 poorly tuned（不適切にチューニングされた）」相手モジュールとの相互作用をシミュレートすることでドメインシフトを再現するように訓練する。
• エピソード型訓練は、分類器を現在のドメインに対してランダムに初期化または不適切にチューニングした仮想の訓練エピソードを生成することで実装され、特徴抽出モジュールがこうした敵対的状況に適応するよう強制される。
• 異種のラベル空間をサポートするためのランダム分類器（R）バージョンを用いることで、異なるクラスを有するドメイン間での訓練を可能にする。
• 複数ドメインの訓練ループを用い、各エピソードでソースドメインとランダムに初期化された分類器をサンプリングし、特徴抽出モジュールがこうした敵対的構成に一般化できるように訓練する。
• この手法はエンドツーエンドで、モデルに依存せず、標準的な最適化手法やアーキテクチャ（例：ResNet-18）と互換性がある。
• 実用的評価のため、訓練済み特徴抽出モジュールをImageNet事前学習済み特徴と連結し、平均プーリングすることで下流タスクの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エピソード型訓練は、特別なアーキテクチャや最適化手法を必要とせずに、標準的なDGベンチマークにおけるドメイン一般化性能を向上させることができるか？
• RQ2 エピソード型訓練は、異種環境下で、未観測の新しいドメインへ一般化可能なよりロバストな特徴を生成するか？
• RQ3 DG訓練は、固定特徴抽出器としての標準的なImageNet事前学習済みCNNの性能を下流タスクで向上させることができるか？
• RQ4 エピソード型訓練は、Visual Decathlonのような多様なドメインとラベル空間を有する大規模で現実世界に近いベンチマークにスケーリング可能か？

主な発見

• 提案手法のエピソード型訓練は、MLDG、CrossGrad、DANNを含む既存手法を上回る、3つの主要なDGベンチマークで最先端の性能を達成した。
• Visual Decathlonベンチマークでは、エピソード型DG手法（Epi-R）が強力なAGGベースラインおよび他のDG競合手法よりも高い平均正答率とVDスコアを達成した。
• 固定抽出器としてのImageNet事前学習済み特徴の性能が向上し、孤立したベンチマークを超えた実用的価値を示した。
• ImageNet事前学習済み特徴とVD-DGで訓練された特徴を連結および平均プーリングすることで、直接ImageNetをソースドメインとして組み込む場合を上回る最良の全体的な性能が得られた。
• 結果から、エピソード型訓練は大規模かつ異種のドメイン一般化設定において特徴のロバスト性を効果的に向上させられることを示しており、大規模スケールでの初めてのこのような実証である。
• この手法は効率的で、モデルに依存せず、非標準的な訓練手順を必要としないため、コンピュータビジョンワークフローにおける広範な採用に適している。