[논문 리뷰] Drop to Adapt: Learning Discriminative Features for Unsupervised Domain Adaptation

Seungmin Lee, Dongwan Kim외 2명|arXiv (Cornell University)|2019. 10. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 30

한 줄 요약

이 논문은 분류 가정을 적대적 드롭아웃을 통해 강제함으로써 구분 가능한 도메인 불변 특징을 학습하는 새로운 비지도 도메인 적응 방법인 Drop to Adapt (DTA)를 제안한다. 완전 연결층과 합성곱층에 요소별 및 채널별 적대적 드롭아웃을 적용함으로써 DTA는 밀도가 높은 타겟 특징 영역에서 멀리 떨어진 결정 경계를 유도하여, 이미지 분류 및 세분화 벤치마크에서 기존의 소스 전용 및 이전 최고 성능 방법들보다 일관된 향상을 이룩한다.

ABSTRACT

Recent works on domain adaptation exploit adversarial training to obtain domain-invariant feature representations from the joint learning of feature extractor and domain discriminator networks. However, domain adversarial methods render suboptimal performances since they attempt to match the distributions among the domains without considering the task at hand. We propose Drop to Adapt (DTA), which leverages adversarial dropout to learn strongly discriminative features by enforcing the cluster assumption. Accordingly, we design objective functions to support robust domain adaptation. We demonstrate efficacy of the proposed method on various experiments and achieve consistent improvements in both image classification and semantic segmentation tasks. Our source code is available at https://github.com/postBG/DTA.pytorch.

연구 동기 및 목표

• 도메인 적대적 훈련이 도메인 정렬 중 클래스 레이블을 忽시함으로써 비구분 가능한 특징을 생성하는 데에 초래하는 한계를 해결하기 위해.
• 결정 경계가 특징 공간의 낮은 밀도 영역에 위치해야 한다는 분류 가정을 강제함으로써 비지도 도메인 적응을 향상시키기 위해.
• 라벨이 없는 타겟 데이터가 필요 없이 타겟 도메인에서 특징의 구분 가능성을 향상시키는 일반화 가능한 정규화 기법을 개발하기 위해.
• 이를 통해 이미지 분류 및 세분화 작업 전반에 걸쳐 다양한 도메인 이동에 대비한 강건성을 입증하기 위해.
• 기존 딥 러닝 아키텍처에 원활하게 통합될 수 있는 단순하면서도 효과적인 프레임워크를 제공하기 위해.

제안 방법

• 완전 연결층을 위한 요소별 적대적 드롭아웃(EAdD)과 합성곱층을 위한 채널별 적대적 드롭아웃(CAdD)이라는 두 가지 유형의 적대적 드롭아웃을 제안한다.
• 훈련 중에 EAdD와 CAdD를 적용하여 특징을 훼손함으로써, 밀도가 높은 타겟 특징 클러스터에서 멀리 떨어진 강력한 결정 경계를 학습하도록 모델을 유도한다.
• 분류 가정 하에 특징의 구분 가능성을 향상시키기 위해 교차 엔트로피 손실와 적대적 드롭아웃 정규화를 조합한 손실 함수를 설계한다.
• 입력 공간과 특징 공간의 정규화를 결합하기 위해 제안된 DTA 방법을 VAT(Virtual Adversarial Training)와 통합함으로써 일반화 능력을 향상시킨다.
• 분류 작업에는 최종 분류기, 세분화 작업에는 중간 특징 레이어에 각각 적용함으로써 분류 및 세분화를 모두 지원한다.
• 적대적 드롭아웃이 특징 훼손에 대한 모델의 강건성을 최대화하도록 최소-최대 훈련 전략을 채택한다.

실험 결과

연구 질문

• RQ1 적대적 드롭아웃이 비지도 도메인 적응에서 분류 가정을 효과적으로 강제하는 데에 사용될 수 있는가?
• RQ2 특징 추출기 및 분류기 레이어에 모두 적대적 드롭아웃을 적용하면 타겟 도메인에서의 일반화 능력이 향상되는가?
• RQ3 다양한 데이터셋과 아키텍처에서 제안된 DTA 방법이 최고 성능 도메인 적응 방법들과 비교해 성능 및 강건성 측면에서 어떻게 성과를 내는가?
• RQ4 DTA를 VAT(Virtual Adversarial Training)와 조합하면 모델의 일반화 능력과 도메인 이동 적응 능력이 얼마나 향상되는가?
• RQ5 DTA 프레임워크는 이미지 분류 및 세분화와 같은 다양한 네트워크 아키텍처와 작업에 일반화 가능한가?

주요 결과

• VisDA-2017 벤치마크에서 DTA는 ResNet-50를 사용해 93.1%의 상위-1 정확도를 기록했고, ResNet-101를 사용해 93.7%를 달성하여 각각 소스 전용 기준의 46.2%와 46.2%를 크게 뛰어넘었다.
• Cityscapes-to-Cityscapes 세분화 적응에서 DTA는 평균 IoU 81.5%를 기록하여 소스 전용 기준의 50.8%를 뛰어넘고 이전 최고 성능 방법들을 초월했다.
• VAT와 함께 fDTA와 cDTA를 조합한 결과, ResNet-101에서는 81.2%의 정확도, ResNet-50에서는 73.1%의 정확도를 기록하여 상호 보완적인 정규화 효과를 입증했다.
• 제거 실험 결과, 각 구성 요소(VAT, fDTA, cDTA)가 성능 향상에 독립적으로 기여하며, fDTA는 '칼'과 같은 특정 클래스에 강력한 영향을 미치고, VAT는 '스케이트보드'에 영향을 미친다.
• 백본 아키텍처 전반에서 일반화 가능성이 확인되었으며, ResNet-50와 ResNet-101 양쪽 모두에서 일관된 향상이 관찰되어 모델 용량에 관계없이 강건함을 입증했다.
• 제안된 방법은 이미지 분류 및 세분화 작업 전반에서 최고 성능을 달성하였으며, 다양한 벤치마크와 도메인 이동 상황에서 일관된 성능 향상을 보였다.