[論文レビュー] A Broad Study of Pre-training for Domain Generalization and Adaptation

Donghyun Kim, Kaihong Wang+2 more|arXiv (Cornell University)|Mar 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、ドメイン一般化および適応のための現代的事前学習について包括的な分析を実施し、ImageNet-22K などの大規模データセットで事前学習された最先端のバックボーンが、Office-Home および DomainNet において既存のドメイン適応手法を上回ることを示しており、新たな SOTA ベンチマークを確立した。研究では、高度な事前学習が複雑な適応技術の必要性を顕著に低減することを明らかにした。これは、ドメイン転送学習における現在の評価パラダイムに挑戦するものである。

ABSTRACT

Deep models must learn robust and transferable representations in order to perform well on new domains. While domain transfer methods (e.g., domain adaptation, domain generalization) have been proposed to learn transferable representations across domains, they are typically applied to ResNet backbones pre-trained on ImageNet. Thus, existing works pay little attention to the effects of pre-training on domain transfer tasks. In this paper, we provide a broad study and in-depth analysis of pre-training for domain adaptation and generalization, namely: network architectures, size, pre-training loss, and datasets. We observe that simply using a state-of-the-art backbone outperforms existing state-of-the-art domain adaptation baselines and set new baselines on Office-Home and DomainNet improving by 10.7\% and 5.5\%. We hope that this work can provide more insights for future domain transfer research.

研究の動機と目的

• 現代的事前学習がドメイン一般化および適応に与える影響を調査し、複雑な適応手法が不可欠であるという仮定に疑問を呈すること。
• ネットワークアーキテクチャ、事前学習データセット、損失関数がドメイン転送性能に与える影響を評価すること。
• 最先端の事前学習が、洗練されたドメイン適応技術の必要性を低減するかどうかを特定すること。
• 既存の DA/DG 手法と比較することで、ドメイン転送のための新たなベンチマークを確立すること。
• 現代的事前学習モデルの特徴転送可能性および表現品質が、ドメイン間でどのように変化するかを解明すること。

提案手法

• 著者らは、Office-Home、DomainNet、および Office-31 データセットの2つの変種を含む4つの標準的マルチドメインベンチマークで広範な実験を実施した。
• ResNets、ConvNeXt、Swin Transformers、ViT といった幅広い事前学習バックボーンを、ImageNet-1K、ImageNet-22K、JFT-300M、および言語・視覚統合データセットといった異なる事前学習データセットで評価した。
• 交差エントロピーとコントラスト学習（例：ALBEF）を含む、教師ありおよび自己教師ありの事前学習損失を比較し、ドメイン転送に与える影響を評価した。
• すべてのモデルに対して、単一の全結合層を追加するシンプルなファインチューニング戦略を適用し、事前学習の効果と適応の複雑さを分離した。
• t-SNE 視覚化と LogME を用いて、事前学習表現の特徴の識別可能性および転送可能性を分析した。
• 単一ソースおよびマルチソースのドメイン適応設定を評価し、SOTA の DA 手法とソースオンリーベースラインとの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 CNN とトランスフォーマーの異なるネットワークアーキテクチャが、ドメイン一般化および適応性能にどのように影響を与えるか？
• RQ2 事前学習データセットのサイズと多様性（例：ImageNet-22K 対 JFT-300M）が、ドメイン転送のロバストネスに与える影響は何か？
• RQ3 自己教師あり事前学習が、ドメイン適応タスクにおいて教師あり事前学習を上回るのか？
• RQ4 現代的事前学習が行われた状況下で、既存のドメイン適応手法は依然として顕著な利点を提供するのか、それとも陳腐化しているのか？
• RQ5 強力な事前学習のみで、複雑なドメイン適応手法を上回ることができるのか？その条件は何か？

主な発見

• ImageNet-22K で事前学習された ConvNeXt-XL バックボーンを、ドメイン適応なしで使用した場合、Office-Home で既存のすべての SOTA ドメイン適応ベースラインを 10.7% の精度向上で上回った。
• DomainNet では、同じ強力な事前学習設定により、先行の SOTA 手法を 5.5% の精度向上で上回り、新たなベンチマークを確立した。
• 自己教師あり事前学習（例：ALBEF）は、特にドメインアライメントにおいて、ImageNet-22K で教師あり事前学習よりも特徴がより分散され、識別性が低いことが明らかになった。
• 現代的事前学習を用いても、DA 手法の相対的性能順位は逆転した：古く、シンプルな DA 手法が、最近のより複雑な手法を上回った。
• LogME で測定した特徴の転送可能性は、SOTA 事前学習モデル（例：ConvNeXt-XL、Swin-L）が、ImageNet-1K で事前学習された標準的な ResNet-50 より顕著に高いことが判明した。
• 本研究では、DA 損失重み（λ と η）のデフォルトハイパーパrameter が、ネットワークの深さにかかわらず転送可能であることが明らかになったが、より深いネットワークではハイパーパrameter の変更に対して感受性が低いことが観察された。