[논문 리뷰] Domain Attention Consistency for Multi-Source Domain Adaptation

Zhongying Deng, Kaiyang Zhou외 2명|arXiv (Cornell University)|2021. 11. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 8

한 줄 요약

이 논문은 다중 소스 도메인 적응(MSDA)을 위한 새로운 프레임워크인 DAC-Net을 제안한다. 이는 소스 도메인과 타겟 도메인 간의 채널 주의 히트맵에서 일관성을 강제하여 이식 가능한 특성(attribute)을 학습한다. 지수 이동 평균 기반의 도메인 주의 일관성 손실과 클래스 밀도 손실을 사용함으로써, DAC-Net은 세 가지 MSDA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 특성 분포 정렬 방법을 능가한다.

ABSTRACT

Most existing multi-source domain adaptation (MSDA) methods minimize the distance between multiple source-target domain pairs via feature distribution alignment, an approach borrowed from the single source setting. However, with diverse source domains, aligning pairwise feature distributions is challenging and could even be counter-productive for MSDA. In this paper, we introduce a novel approach: transferable attribute learning. The motivation is simple: although different domains can have drastically different visual appearances, they contain the same set of classes characterized by the same set of attributes; an MSDA model thus should focus on learning the most transferable attributes for the target domain. Adopting this approach, we propose a domain attention consistency network, dubbed DAC-Net. The key design is a feature channel attention module, which aims to identify transferable features (attributes). Importantly, the attention module is supervised by a consistency loss, which is imposed on the distributions of channel attention weights between source and target domains. Moreover, to facilitate discriminative feature learning on the target data, we combine pseudo-labeling with a class compactness loss to minimize the distance between the target features and the classifier's weight vectors. Extensive experiments on three MSDA benchmarks show that our DAC-Net achieves new state of the art performance on all of them.

연구 동기 및 목표

• 소스 도메인이 외관 면에서 크게 다를 경우 특성 분포 정렬에 의존하는 기존 다중 소스 도메인 적응(MSDA) 방법의 한계를 해결하기 위해.
• 특성 분포 전체를 정렬하는 대신 공통된 의미적 특성(attribute)을 식별하는 데 초점을 맞춘, MSDA를 위한 새로운 패러다임을 제안하기 위해.
• 소스 도메인과 타겟 도메인 간에 분류에 기여하는 특성 채널의 주의 히트맵에서 일관성을 식별하고 강제하는 도메인 주의 일관성 메커니즘을 설계하기 위해.
• 분류기 가중치 벡터(클래스 프로토타입)와 타겟 도메인 특성을 정렬함으로써 타겟 도메인 일반화 성능을 향상시키기 위해, 의사 레이블링과 클래스 밀도 손실을 조합하기 위해.
• 주의 기반 일관성이 다중 소스 적응에서 직접적인 특성 분포 정렬보다 더 효과적인가를 입증하기 위해.

제안 방법

• 분류 작업에서 도메인 간 이식 가능한 특성(속성)을 식별하는 특성 채널 주의 모듈을 도입한다.
• 각 소스 도메인의 주의 히트맵에 대한 지수 이동 평균(EMA)과 타겟 도메인 간의 거리를 최소화하는 도메인 주의 일관성 손실을 적용한다.
• 학습 중 주의 일관성 손실의 안정성을 향상시키기 위해 EMA 통계를 사용하여 모델의 강건성과 성능을 향상시킨다.
• 타겟 도메인 특성을 해당 분류기 가중치 벡터(클래스 프로토타입)에 가까이 끌어들이는 클래스 밀도 손실을 적용하여, 분류에 유용한 특성 학습을 강화한다.
• 무라벨 타겟 데이터에 대한 예측을 개선하기 위해 의사 레이블링과 클래스 밀도 손실을 조합한다.
• 고도의 추상적이고 이식 가능한 의미적 특성(attribute)을 캡처하기 위해, 도메인 주의 일관성 손실을 끝에서 두 번째 잔차 블록 이후의 레이어에 적용한다.

실험 결과

연구 질문

• RQ1 다양한 소스 도메인과 타겟 도메인 간 주의 히트맵의 일관성을 강제할 경우, 기존의 특성 분포 정렬보다 더 나은 도메인 적응 성능를 달성할 수 있는가?
• RQ2 도메인 간에 공통되는 의미적 개념(공유된 의미적 속성)을 식별하는 이식 가능한 속성 학습이, 다중 소스 도메인 적응에서 도메인 불변 특성 학습보다 더 효과적인가?
• RQ3 손실 적용 위치의 선택(예: 초기 레이어 대비 후기 레이어)이 주의 기반 도메인 적응의 성능에 어떤 영향을 미치는가?
• RQ4 주의 일관성 손실 계산에 EMA 통계를 사용할 경우 학습 안정성과 모델 일반화 성능가 향상되는가?
• RQ5 일관성 손실과 밀도 손실의 가중치와 같은 하이퍼파rameter 설정이 전체 성능에 어떤 영향을 미치는가?

주요 결과

• DAC-Net은 세 가지 MSDA 벤치마크 전반에서 최신 기술 수준 성능을 달성하였으며, PACS 벤치마크에서 최고 정확도 90.79%를 기록하여 기존 방법들을 압도적으로 능가한다.
• 마지막 두 개의 잔차 블록 이후에 도메인 주의 일관성 손실을 적용할 경우 성능이 가장 우수하여, 고수준 의미적 특성이 주의 기반 일관성에 가장 적합함을 시사한다.
• EMA 통계를 사용하여 도메인 주의 일관성 손실을 계산할 경우, 원시 배치 통계를 사용한 경우에 비해 성능이 2.18%p 향상되었으며, PACS에서 88.61%에서 90.79%로 상승하였다.
• EMA 기반 ℓ₁ 거리 함수는 MMD 기반 거리 함수보다 성능이 뛰어나, EMA가 주의 정렬을 안정화시키는 데 효과적임을 확인한다.
• 민감도 분석 결과, λₐ = 0.3 및 λc = 0.1 설정에서 최적의 성능를 기록하였으며, 하이퍼파rameter 변화에 대해 상대적으로 강건함을 확인하였다.
• 절단 실험 결과, 직접적인 특성 분포 정렬(FDA)보다 주의 기반 일관성이 더 효과적인 것으로 확인되었으며, PACS에서 DAC-Net은 FDA보다 1.52%p 높은 성능를 기록하였다.