[논문 리뷰] Exploiting Both Domain-specific and Invariant Knowledge via a Win-win Transformer for Unsupervised Domain Adaptation

Wenxuan Ma, Jinming Zhang외 4명|arXiv (Cornell University)|2021. 11. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 8

한 줄 요약

이 논문은 비지도 도메인 적응을 위한 윈윈 트랜스포머 프레임워크인 WinTR을 제안한다. WinTR는 별도의 분류기로 소스 및 타겟 도메인의 도메인 특화 지식을 별도로 학습하면서도, 소스 유도 레이블 개선과 단측 특징 정렬을 통해 도메인 간 지식 전이를 가능하게 한다. 실험 결과 WinTR는 SOTA 성능을 달성하여 DomainNet에서 이전 방법들보다 최대 12.2% 높은 성능을 보이며, CNN보다 뛰어난 전이 능력을 보였다.

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to transfer knowledge from a labeled source domain to an unlabeled target domain. Most existing UDA approaches enable knowledge transfer via learning domain-invariant representation and sharing one classifier across two domains. However, ignoring the domain-specific information that are related to the task, and forcing a unified classifier to fit both domains will limit the feature expressiveness in each domain. In this paper, by observing that the Transformer architecture with comparable parameters can generate more transferable representations than CNN counterparts, we propose a Win-Win TRansformer framework (WinTR) that separately explores the domain-specific knowledge for each domain and meanwhile interchanges cross-domain knowledge. Specifically, we learn two different mappings using two individual classification tokens in the Transformer, and design for each one a domain-specific classifier. The cross-domain knowledge is transferred via source guided label refinement and single-sided feature alignment with respect to source or target, which keeps the integrity of domain-specific information. Extensive experiments on three benchmark datasets show that our method outperforms the state-of-the-art UDA methods, validating the effectiveness of exploiting both domain-specific and invariant

연구 동기 및 목표

• 기존 UDA 방법이 소스 및 타겟 도메인에 동일한 분류기를 강제로 적용함으로써 도메인 특화 특징 표현 능력이 저하되는 데 대한 한계를 해결하기 위해.
• CNN과 비교할 때 비전 트랜스포머가 더 나은 도메인 내 지식 유지 능력을 보이며 효과적인 도메인 간 지식 전이를 가능하게 하는지 탐구하기 위해.
• UDA에서 도메인 불변 표현 학습과 도메인 특화 특징 학습 사이의 본질적 상충 관계를 해결하기 위해.
• 공유 백본과 도메인 간 지식 distillation을 통해 가짜 레이블 개선을 통한 두 개의 별도 분류 헤드를 사용하는 것이 효과적인지 검증하기 위해.

제안 방법

• 비전 트랜스포머 백본(DeiT)을 사용하며, 소스 및 타겟 도메인 각각에 대해 별도의 분류 토큰을 갖추어 도메인 특화 표현을 별도로 학습할 수 있도록 한다.
• 소스 분류기의 예측을 활용하여 타겟 도메인의 가짜 레이블 품질을 향상시키는 소스 유도 레이블 개선 메커니즘을 도입한다.
• 단측 특징 정렬을 적용하여 한 도메인의 특징을 다른 도메인(예: 타겟 → 소스)으로 정렬하면서도, 정지 기울기 연산을 통해 도메인 특화 특징를 유지한다.
• 학습은 두 단계로 진행된다: 첫 번째로, ImageNet 사전 학습 가중치를 사용해 소스 전용 모델을 학습하여 초기 타겟 가짜 레이블을 생성한다. 두 번째로, 모델을 재초기화하고 도메인 특화 분류기 및 대비 손실함수를 함께 최적화한다.
• 대비 손실은 소스 및 타겟 특징에서 각각 별도로 계산되며, 반대 도메인의 특징에 대한 기울기를 정지시켜 도메인 특화 무결성을 유지한다.
• 최신 모델 예측을 사용해 학습 중에 반복적으로 가짜 레이블을 업데이트하여 일관성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 소스 및 타겟 도메인에 대해 별도의 분류 헤드를 갖춘 단일 트랜스포머 백본이 비지도 도메인 적응에서 도메인 특화 및 불변 특징를 효과적으로 학습할 수 있는가?
• RQ2 CNN 대비 비전 트랜스포머를 사용할 경우, 특히 큰 도메인 이동 상황에서 UDA에서의 전이 능력이 향상되는가?
• RQ3 소스 유도 레이블 개선과 단측 특징 정렬이 도메인 특화 특징 표현 능력을 훼손하지 않으면서 지식 전이를 동시에 향상시킬 수 있는가?
• RQ4 Transformer 기반 UDA 프레임워크에서 타겟 전용 분류기를 유일하게 타겟 도메인의 레이블 없음 데이터와 가짜 레이블만을 사용해 학습하는 것이 실현 가능하고 효과적인가?

주요 결과

• WinTR-B는 DomainNet 벤치마크에서 평균 정확도 46.8%를 기록했으며, 이는 DeiT-B 백본 대비 12.2% 높은 성능이다.
• WinTR-S는 DomainNet에서 CDTrans-B보다 평균 4.8% 높은 성능을 보이며, ResNet-50 기반의 모든 UDA 방법을 초월한다.
• Office-Home에서 WinTR는 SOTA 성능을 달성했으며, CNN 기반 모델 대비 전이 능력에서 뚜렷한 향상을 보였다.
• 시각화 결과는 비전 트랜스포머가 CNN과 달리 타겟 도메인의 관련 객체에 집중하는 것으로 나타났다.
• 제거 실험 결과, 소스 유도 레이블 개선과 단측 특징 정렬이 성능 향상에 기여하는 것으로 확인되었다.
• 큰 도메인 이동 상황, 예를 들어 Office-Home에서 Ar → Cl의 경우, CNN은 주요 객체에 집중하지 못하는 반면 WinTR는 뛰어난 강건성을 보였다.