[논문 리뷰] MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation

Guoqiang Wei, Cuiling Lan외 2명|arXiv (Cornell University)|2021. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 6

한 줄 요약

MetaAlign는 비지도 도메인 적응(UDA)에서 도메인 정합과 분류 목표를 조율하기 위해 메타최적화 전략을 제안한다. 이는 훈련 중 두 목표의 기울기 방향이 일치하도록 보장한다. 도메인 정합을 메타학습의 메타학습 과제로, 분류를 메타테스트 과제로 간주함으로써 MetaAlign은 기울기 일致성을 극대화하여 특징의 구분 능력을 향상시키고, 이미지 분류, 객체 검출, 도메인 일반화 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For unsupervised domain adaptation (UDA), to alleviate the effect of domain shift, many approaches align the source and target domains in the feature space by adversarial learning or by explicitly aligning their statistics. However, the optimization objective of such domain alignment is generally not coordinated with that of the object classification task itself such that their descent directions for optimization may be inconsistent. This will reduce the effectiveness of domain alignment in improving the performance of UDA. In this paper, we aim to study and alleviate the optimization inconsistency problem between the domain alignment and classification tasks. We address this by proposing an effective meta-optimization based strategy dubbed MetaAlign, where we treat the domain alignment objective and the classification objective as the meta-train and meta-test tasks in a meta-learning scheme. MetaAlign encourages both tasks to be optimized in a coordinated way, which maximizes the inner product of the gradients of the two tasks during training. Experimental results demonstrate the effectiveness of our proposed method on top of various alignment-based baseline approaches, for tasks of object classification and object detection. MetaAlign helps achieve the state-of-the-art performance.

연구 동기 및 목표

• 비지도 도메인 적응(UDA)에서 도메인 정합과 분류 과제 간 최적화 불일치 문제를 해결하기 위해, 이는 상반된 기울기 방향으로 인해 성능 저하가 발생하기 때문이다.
• 도메인 정합과 분류 목표의 최적화 궤적을 일치시키는 일반적인 메타학습 기반 전략을 개발하기 위해.
• 도메인 정합을 유지하면서 특징의 구분 능력을 향상시켜, 미리 보지 않은 타겟 도메인으로의 일반화 능력을 향상시키기 위해.
• 이 방법이 다양한 비전 과제, 특히 이미지 분류, 객체 검출, 도메인 일반화에서 검증되도록 하기 위해.

제안 방법

• MetaAlign는 메타학습 프레임워크 내에서 도메인 정합을 메타학습 과제로, 분류를 메타테스트 과제로 설정한다.
• 두 과제의 기울기 내적을 극대화하여 공유 네트워크 파라미터를 최적화함으로써 최적화의 조율를 촉진한다.
• 기존의 도메인 정합 기반 모델, 예를 들어 DANN, GVB, SW-DA에 대해 아키텍처 변경 없이 플러그인 방식으로 적용 가능하다.
• 이론적 분석을 통해 이 기울기 내적 극대화가 두 과제의 최적화 방향을 일치시키는 데 기여함을 보여준다.
• 이 방법은 적대적 도메인 정합과 통계적 분포 정합 방법 모두와 호환되며 일반적이다.
• 특징 시각화와 t-SNE 분석을 통해 MetaAlign이 분류에 관련된 객체 영역에서의 정합을 장려함을 검증한다.

Figure 1: Illustration of our MetaAlign strategy which aims to encourage the optimization consistency between the domain alignment task and the object classification task for efficient UDA. (a) Previous approaches directly combine the optimization objective functions of the two tasks together ( i .

실험 결과

연구 질문

• RQ1 도메인 정합과 분류 과제 간 최적화 불일치가 UDA 성능에 어떤 영향을 미치는가?
• RQ2 메타최적화를 사용해 도메인 정합과 분류 목표의 학습 역학을 조율할 수 있는가?
• RQ3 도메인 정합과 분류 간 기울기 일치를 강제로 적용하면 특징의 구분 능력과 일반화 능력이 향상되는가?
• RQ4 MetaAlign은 이미지 분류, 객체 검출, 도메인 일반화를 포함한 다양한 비전 과제에 효과적으로 적용될 수 있는가?

주요 결과

• SW-DA 기반 모델에 대해 VOC→Watercolor2k 객체 검출 UDA 벤치마크에서 mAP가 1.9% (3.5%) 향상되었다.
• Office-Home와 Office31에서 GVB에 MetaAlign을 적용한 결과, 원래 GVB와 이전 최신 기술 수준(SOTA) 방법을 능가하는 최신 기술 수준의 성능을 달성했다.
• PACS에서의 도메인 일반화 실험에서 DANNPE+MetaAlign은 DANNPE보다 1.2% 높은 정확도를 기록했으며, 특히 도전적인 Sketch 도메인에서 이전 SOTA를 초월했다.
• Grad-CAM 시각화 결과, MetaAlign이 도메인 정합을 객체 관련 영역에 집중시키며 분류에 유의미한 정합성을 향상시킴을 확인했다.
• t-SNE 시각화 결과, MetaAlign은 특징 공간에서 더 격차가 크고 잘 분리된 클러스터를 생성함으로써 도메인 정합과 특징의 밀도 향상을 보여주었다.
• 이 방법은 여러 UDA 기반 모델과 과제에 효과적이며, 강력한 일반화 능력과 플러그인 호환성을 입증했다.

Figure 2: Two representative domain alignment based UDA frameworks. (a) DANN. (b) MMD.