[논문 리뷰] A Broad Study of Pre-training for Domain Generalization and Adaptation

Donghyun Kim, Kaihong Wang외 2명|arXiv (Cornell University)|2022. 03. 22.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 도메인 일반화 및 적응을 위한 현대적 사전 훈련에 대한 종합적인 분석을 수행하며, ImageNet-22K와 같은 대규모 데이터셋에서 사전 훈련된 최신 백본이 Office-Home와 DomainNet에서 기존의 도메인 적응 방법보다 뛰어나게 성능을 발휘함으로써 새로운 SOTA 기준을 설정함을 보여준다. 연구 결과는 고도로 발전한 사전 훈련이 복잡한 적응 기법의 필요성을 크게 줄임으로써 도메인 전이 학습 분야의 기존 평가 체계에 도전한다.

ABSTRACT

Deep models must learn robust and transferable representations in order to perform well on new domains. While domain transfer methods (e.g., domain adaptation, domain generalization) have been proposed to learn transferable representations across domains, they are typically applied to ResNet backbones pre-trained on ImageNet. Thus, existing works pay little attention to the effects of pre-training on domain transfer tasks. In this paper, we provide a broad study and in-depth analysis of pre-training for domain adaptation and generalization, namely: network architectures, size, pre-training loss, and datasets. We observe that simply using a state-of-the-art backbone outperforms existing state-of-the-art domain adaptation baselines and set new baselines on Office-Home and DomainNet improving by 10.7\% and 5.5\%. We hope that this work can provide more insights for future domain transfer research.

연구 동기 및 목표

• 현대적 사전 훈련이 도메인 일반화 및 적응에 미치는 영향을 조사하여, 복잡한 적응 방법이 필수적이라는 가정을 도전한다.
• 네트워크 아키텍처, 사전 훈련 데이터셋, 손실 함수가 도메인 전이 성능에 미치는 영향을 평가한다.
• 최신 사전 훈련이 정교한 도메인 적응 기법의 필요성을 줄이는지 확인한다.
• 기존의 DA/DG 방법과의 비교를 통해 도메인 전이의 새로운 기준을 설정한다.
• 다양한 도메인 간에 현대적 사전 훈련 모델의 특징 이동 가능성과 표현 품질에 대한 통찰을 제공한다.

제안 방법

• 저자들은 네 가지 표준 다중 도메인 벤치마크인 Office-Home, DomainNet, 그리고 Office-31 데이터셋의 두 가지 변형에서 광범위한 실험을 수행한다.
• ResNet, ConvNeXt, Swin Transformer, ViT 등의 다양한 사전 훈련 백본을 사용하여 ImageNet-1K, ImageNet-22K, JFT-300M, 언어-시각 데이터셋 등 다양한 사전 훈련 데이터셋에서의 성능을 평가한다.
• 교차 엔트로피와 대비 학습(예: ALBEF) 등의 감독 및 비감독 사전 훈련 손실 함수를 비교하여 도메인 전이에 미치는 영향을 분석한다.
• 모든 모델에 동일한 간단한 파인튜닝 전략(단일 완전 연결 층 추가)을 적용하여 사전 훈련의 영향을 적응 복잡성과 분리한다.
• t-SNE 시각화와 LogME를 사용하여 사전 훈련된 표현의 특징 분리 가능성과 이동 가능성 분석을 수행한다.
• 단일 소스 및 다중 소스 도메인 적응 설정을 평가하며, SOTA DA 방법과 소스 전용 기준 모델 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 CNN과 Transformer 간의 서로 다른 네트워크 아키텍처가 도메인 일반화 및 적응 성능에 미치는 영향은 무엇인가?
• RQ2 사전 훈련 데이터셋의 크기와 다양성(예: ImageNet-22K 대비 JFT-300M)이 도메인 전이의 강건성에 미치는 영향은 무엇인가?
• RQ3 비감독 사전 훈련이 도메인 적응 과제에서 감독 사전 훈련을 능가하는가?
• RQ4 현대적 사전 훈련을 사용할 경우, 기존의 도메인 적응 방법이 여전히 유의미한 성능 향상을 제공하는가, 아니면 이미 쓸모없는가?
• RQ5 강력한 사전 훈련만으로도 복잡한 도메인 적응 방법을 능가할 수 있는가, 그리고 만약 그렇다면 어떤 조건에서 가능한가?

주요 결과

• ImageNet-22K에서 사전 훈련된 ConvNeXt-XL 백본을 사용하되 도메인 적응을 전혀 적용하지 않은 경우, Office-Home에서 모든 기존 SOTA 도메인 적응 기반 모델보다 정확도가 10.7% 높게 성능을 내었다.
• DomainNet에서는 동일한 강력한 사전 훈련 설정이 이전 SOTA 방법보다 정확도를 5.5% 향상시켜 새로운 기준을 설정했다.
• 특히 도메인 정렬 측면에서, ImageNet-22K에서 감독 사전 훈련에 비해 비감독 사전 훈련(예: ALBEF)은 더 덜 뭉쳐 있고 더 덜 분리 가능한 특징을 생성한다.
• 현대적 사전 훈련을 사용하더라도, DA 방법의 상대적 성능 순위가 반전되었다: 오래된, 단순한 DA 방법이 최근의 더 복잡한 방법보다 뛰어난 성능을 보였다.
• LogME를 통해 측정한 특징 이동 가능성은 표준 ResNet-50(이미지넷-1K에서 사전 훈련)보다 최신 SOTA 사전 훈련 모델(예: ConvNeXt-XL, Swin-L)에서 훨씬 높았다.
• 연구 결과는 도메인 적응 손실 가중치(λ 및 η)의 기본 초깃값이 네트워크 깊이에 관계없이 이식 가능하다는 것을 드러내었으며, 더 깊은 네트워크는 초깃값 변화에 덜 민감한 것으로 나타났다.