[論文レビュー] Network Architecture Search for Domain Adaptation

Yichen Li, Xingchao Peng|arXiv (Cornell University)|Aug 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 81被引用数 11

ひとこと要約

この論文は、マルチカーネル最大平均差分（MK-MMD）を用いたドメイン整合性とソースドメインの検証損失を同時に最適化することで、教師なしドメイン適応（UDA）に特化した微分可能ニューラルアーキテクチャ探索（NAS）フレームワークNASDAを提案する。タスク固有のアーキテクチャを探索し、多様な分類器を用いた敵対的訓練によって特徴抽出器を統合することで、複数のドメイン適応ベンチマークで最先端の性能を達成する。

ABSTRACT

Deep networks have been used to learn transferable representations for domain adaptation. Existing deep domain adaptation methods systematically employ popular hand-crafted networks designed specifically for image-classification tasks, leading to sub-optimal domain adaptation performance. In this paper, we present Neural Architecture Search for Domain Adaptation (NASDA), a principle framework that leverages differentiable neural architecture search to derive the optimal network architecture for domain adaptation task. NASDA is designed with two novel training strategies: neural architecture search with multi-kernel Maximum Mean Discrepancy to derive the optimal architecture, and adversarial training between a feature generator and a batch of classifiers to consolidate the feature generator. We demonstrate experimentally that NASDA leads to state-of-the-art performance on several domain adaptation benchmarks.

研究の動機と目的

• ドメイン適応における手作業で設計された深層ネットワークの性能が最適でない問題に対処するため、タスク固有のアーキテクチャ探索フレームワークを設計すること。
• アーキテクチャ探索中に、ソースドメインの検証損失とソース・ターゲットドメイン間のドメイン差違を同時に最小化すること。
• 多様な分類器を用いた敵対的訓練により、特徴抽出器のロバスト性を向上させること。
• ドメインシフトしたデータ間での転移学習に最適化されたニューラルアーキテクチャの自動発見を可能にすること。

提案手法

• 2段階最適化フレームワークを提案。アーキテクチャ探索は、マルチカーネル最大平均差分（MK-MMD）を用いて測定されるドメイン差違とソース検証損失に基づいて誘導される。
• 微分可能アーキテクチャ探索（DARTS風）を用いて離散的な探索空間を連続空間に緩和し、アーキテクチャパラメータの勾配ベース最適化を可能にする。
• 探索されたアーキテクチャから得られる特徴抽出器を用いてドメイン不変特徴を生成し、再生ヒルバート空間内でのドメイン差違を最小化する。
• 最大分類器差違（MCD）フレームワークにインspiredされ、特徴抽出器と複数の分類器の間で敵対的訓練を導入し、一般化性能を向上させる。
• 2段階訓練プロセスを採用：第1段階では、ソース検証損失とドメイン差違の両方を統合的に最適化するアーキテクチャ探索；第2段階では、敵対的訓練による特徴抽出器の統合。
• T-SNE可視化を用いて、訓練中に分類器の差違が生じることを確認し、敵対的訓練フェーズの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 一般分類を目的としないでドメイン適応に特化したニューラルアーキテクチャ探索フレームワークを設計できるか？
• RQ2 ソース検証損失とドメイン差違を同時に最小化することで、転移性能がどのように向上するか？
• RQ3 多様な分類器を用いた敵対的訓練により、教師なしドメイン適応における特徴抽出器のロバスト性と一般化性能が向上するか？
• RQ4 提案されたNASDAフレームワークは、標準ベンチマークにおいて、既存のNASベースのモデルおよび最先端のドメイン適応手法を上回ることができるか？

主な発見

• NASDAは、複数の教師なしドメイン適応ベンチマークで最先端の性能を達成し、既存のNASベースのモデルおよびSOTA手法を上回る。
• 多様な分類器を用いた敵対的訓練フェーズは、ターゲットドメインの精度を顕著に向上させるが、ソースドメイン性能への影響は最小限である。
• T-SNE可視化により、訓練中に分類器が離散化していることが確認され、敵対的訓練戦略が多様性を促進していることの有効性が裏付けられる。
• 分類器の数を増やすことでターゲット精度が向上するが、計算コストは2次関数的に増加するため、実用的なトレードオフとしてN=4が選択された。
• マルチカーネルMMDを用いることで、単一カーネルの代替手法に比べて、ソースとターゲットの特徴の整合性がより効果的に達成される。