[論文レビュー] On Evolving Attention Towards Domain Adaptation

Kekai Sheng, Ke Li+6 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 5

ひとこと要約

本論文は、人為的介入なしに、教師なしドメイン適応（UDA）のための最適なアテンションモジュール構成（タイプおよび配置）を自動で進化させる神経ネットワークアーキテクチャ探索フレームワーク、EvoADAを提案する。アテンション機構に特化した探索空間を設計し、ターゲットドメインにおける疑似ラベル分類の観点からUDAに最適化された評価戦略を用いることで、複数のベンチマークで最先端のUDA手法を一貫して改善し、最小限のパラメータオーバーヘッドで高い精度を達成する。

ABSTRACT

Towards better unsupervised domain adaptation (UDA). Recently, researchers propose various domain-conditioned attention modules and make promising progresses. However, considering that the configuration of attention, i.e., the type and the position of attention module, affects the performance significantly, it is more generalized to optimize the attention configuration automatically to be specialized for arbitrary UDA scenario. For the first time, this paper proposes EvoADA: a novel framework to evolve the attention configuration for a given UDA task without human intervention. In particular, we propose a novel search space containing diverse attention configurations. Then, to evaluate the attention configurations and make search procedure UDA-oriented (transferability + discrimination), we apply a simple and effective evaluation strategy: 1) training the network weights on two domains with off-the-shelf domain adaptation methods; 2) evolving the attention configurations under the guide of the discriminative ability on the target domain. Experiments on various kinds of cross-domain benchmarks, i.e., Office-31, Office-Home, CUB-Paintings, and Duke-Market-1510, reveal that the proposed EvoADA consistently boosts multiple state-of-the-art domain adaptation approaches, and the optimal attention configurations help them achieve better performance.

研究の動機と目的

• 教師なしドメイン適応（UDA）における不適切な手作業によるアテンションモジュール構成が、多様なUDAシナリオにおいて性能を制限するという課題に対処すること。
• UDAタスクに特化した、タイプおよび空間的配置の両方を最適化する一般化可能で自動化された手法を開発すること。
• 大規模なドメインシフト下でも効果的で、移植可能で頑健な探索空間と評価戦略を設計することで、従来のNAS手法の限界を克服すること。
• 提案手法が複数の最先端のUDAアプローチの性能を、多様なクロスドメインベンチマークで向上させることを検証すること。

提案手法

• UDAに特化した、多様なアテンションモジュールタイプ（例：空間的、チャネル、自己注意）と、バックボーンネットワーク内での配置（例：ResNet）を組み合わせた新しい探索空間を提案する。
• UDAに最適化された評価戦略を導入：まず、標準的なUDA手法を用いてソースドメインおよびターゲットドメインの両方でネットワーク重みを学習し、その後、ターゲットドメインにおける疑似ラベル分類の観点からアテンション構成の識別能を評価する。
• 提案された評価指標に従って、進化ベースのNASアルゴリズムを用いて反復的に高性能なアテンション構成を進化・選択する。
• 各構成の未ラベルターゲットドメインにおける識別能力を推定するために、自己学習型の疑似ラベル分類メカニズムを用い、最終的なUDA精度の代理指標とする。
• 移譲性と識別能のバランスを最適化することで、ドメインシフト下でも一般化性能が高くなるように探索プロセスを最適化する。
• ResNet-50などの複数のバックボーンと、Office-31、Office-Home、CUB-Paintings、Duke-Market-1510を含む複数のベンチマークにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 人為的介入なしに、教師なしドメイン適応（UDA）のための最適なアテンションモジュール構成を自動で発見できるか？
• RQ2 UDAに特化した探索空間と評価戦略は、ランダムまたは従来のNASアプローチと比較して、性能をどのように向上させるか？
• RQ3 ターゲットドメインにおける疑似ラベル分類に基づく提案評価戦略は、実際のUDA精度とどの程度相関しているか？
• RQ4 バックボーンネットワークのどのレイヤーにアテンションモジュールを配置するのが、UDA設定で最も効果的か？

主な発見

• EvoADAは、Office-31、Office-Home、CUB-Paintings、Duke-Market-1510の4つのベンチマークで、複数の最先端UDA手法を一貫して改善し、Office-HomeでCDANに対して3.4%の向上（66.4% → 69.8%）とSHOTに対して2.0%の向上（71.9% → 73.9%）を達成した。
• ターゲットドメインにおける疑似ラベル分類に基づく提案評価戦略は、実際のターゲットドメイン精度と強い順位相関（Office-31ではSpearman ρ = 0.68）を示し、ソースドメイン精度との相関（ρ = 0.40）を上回った。
• 最適なアテンション構成は、しばしばResNet-50のLayer 3およびLayer 4に配置されており、これらがドメイン適応において最も有益であることが示された。
• パrameter数およびFLOPsの増加がやや程度に抑えられ、効率性と実用性を示した。
• 実験により、訓練精度のしきい値（t_acc）、集団サイズ（T）、ターゲットドメイン評価ステップ数（T_d）のハイパーパramータ変動に対してもEvoADAは頑健であることが示された。
• 可視化結果により、適切に選択されたアテンション構成が特徴の識別能を向上させ、特に細分化されたタスクやクロスドメイン設定においてドメインシフトを低減することが確認された。