[논문 리뷰] On Evolving Attention Towards Domain Adaptation

Kekai Sheng, Ke Li외 6명|arXiv (Cornell University)|2021. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 5

한 줄 요약

이 논문은 인간 간섭 없이 비지도 분야 적응(Ubiquitous Domain Adaptation, UDA)을 위한 최적의 어텐션 모듈 구성(유형 및 위치)을 자동으로 진화시키는 신경망 아키텍처 탐색 프레임워크인 EvoADA를 제안한다. 어텐션 메커니즘에 특화된 탐색 공간을 설계하고, 타겟 도메인에서 의사 레이블 기반의 도메인 구분 전략을 활용한 UDA 친화적 평가 전략을 도입함으로써, 여러 벤치마크에서 최신 기술을 일관되게 향상시켜, 최소한의 파라미터 오버헤드로 높은 정확도를 달성한다.

ABSTRACT

Towards better unsupervised domain adaptation (UDA). Recently, researchers propose various domain-conditioned attention modules and make promising progresses. However, considering that the configuration of attention, i.e., the type and the position of attention module, affects the performance significantly, it is more generalized to optimize the attention configuration automatically to be specialized for arbitrary UDA scenario. For the first time, this paper proposes EvoADA: a novel framework to evolve the attention configuration for a given UDA task without human intervention. In particular, we propose a novel search space containing diverse attention configurations. Then, to evaluate the attention configurations and make search procedure UDA-oriented (transferability + discrimination), we apply a simple and effective evaluation strategy: 1) training the network weights on two domains with off-the-shelf domain adaptation methods; 2) evolving the attention configurations under the guide of the discriminative ability on the target domain. Experiments on various kinds of cross-domain benchmarks, i.e., Office-31, Office-Home, CUB-Paintings, and Duke-Market-1510, reveal that the proposed EvoADA consistently boosts multiple state-of-the-art domain adaptation approaches, and the optimal attention configurations help them achieve better performance.

연구 동기 및 목표

• 다양한 UDA 시나리오에서 성능을 제한할 수 있는 수동으로 설계된 어텐션 모듈 구성의 열악한 성능 문제를 해결하기 위해.
• 특히 UDA 작업에 맞게 최적의 어텐션 구성(유형 및 공간적 배치)을 일반화하고 자동으로 탐색하는 방법을 개발하기 위해.
• 대규모 도메인 이동 상황에서도 이식 가능하고 강건한 탐색 공간 및 평가 전략을 설계함으로써 기존 NAS 방법의 한계를 극복하기 위해.
• 다양한 크로스 도메인 벤치마크에서 여러 최신 기술 기반 UDA 접근법의 성능 향상을 검증하기 위해.

제안 방법

• UDA에 특화된 새로운 탐색 공간을 제안하며, 이는 다양한 어텐션 모듈 유형(예: 공간적, 채널, 자기 어텐션)과 백본 네트워크(예: ResNet) 내 위치를 포함한다.
• UDA 중심의 평가 전략을 도입한다: 먼저 표준 UDA 방법을 사용해 소스 및 타겟 도메인에서 네트워크 가중치를 훈련한 후, 타겟 도메인에서 의사 레이블 기반의 분류 능력을 통해 어テン션 구성의 분류 능력을 평가한다.
• 제안된 평가 지표에 따라 유전 기반 NAS 알고리즘을 활용해 반복적으로 고성능 어텐션 구성의 진화 및 선택을 수행한다.
• 자기 훈련 기반 의사 레이블링 메커니즘을 사용해 각 구성의 타겟 도메인에서의 분류 능력을 추정하며, 이는 최종 UDA 정확도의 대체 지표로 기능한다.
• 이식 가능성과 분류 능력의 균형을 고려해 탐색 과정을 최적화함으로써, 도메인 이동 상황에서도 잘 일반화되는 구성 확보를 위해 노력한다.
• ResNet-50와 같은 여러 백본 및 벤치마크(예: Office-31, Office-Home, CUB-Paintings, Duke-Market-1510)에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 인간 간섭 없이 자동으로 신경망 아키텍처 탐색 프레임워크가 비지도 분야 적응을 위한 최적의 어텐션 모듈 구성(유형 및 위치)을 효과적으로 탐색할 수 있는가?
• RQ2 UDA 전용 탐색 공간 및 평가 전략은 무작위 또는 전통적인 NAS 접근 방식에 비해 성능 향상에 얼마나 기여하는가?
• RQ3 타겟 도메인에서의 의사 레이블링 기반 평가 전략이 실제 UDA 정확도와 얼마나 높은 상관관계를 가지는가?
• RQ4 백본 네트워크의 어떤 레이어가 UDA 환경에서 어텐션 모듈 배치에 가장 효과적인가?

주요 결과

• EvoADA는 Office-31, Office-Home, CUB-Paintings, Duke-Market-1510 등 네 가지 벤치마크에서 여러 최신 기술 기반 UDA 방법을 일관되게 향상시켰으며, Office-Home에서 CDAN에 비해 3.4% 향상(66.4% → 69.8%)되고 SHOT에 비해 2.0% 향상(71.9% → 73.9%)되는 성과를 기록했다.
• 타겟 도메인에서의 의사 레이블링 기반 평가 전략은 실제 타겟 도메인 정확도와 강한 순서 상관관계를 보였으며, Office-31에서 스피어만 ρ = 0.68로 나타났고, 이는 소스 도메인 정확도 상관관계(ρ = 0.40)를 뛰어넘었다.
• 최적의 어텐션 구성은 종종 ResNet-50의 Layer 3 및 Layer 4에서 발견되며, 이는 이 레이어들이 도메인 적응에 가장 유리한 영향을 미친다는 것을 시사한다.
• 모델의 파라미터 및 FLOPs 증가 폭이 중간 정도에 그쳐 효율성과 실용성을 입증했다.
• 초기화 조건, 인구 수(T), 타겟 도메인 평가 스텝 수(T_d) 등의 하이퍼파라미터 변화에 대해 EvoADA가 강건함을 실험적으로 입증했다.
• 시각화 결과는 잘 선택된 어텐션 구성이 특징의 분류 능력을 향상시키고, 특히 미세한 차이와 크로스 도메인 설정에서 도메인 이동 현상을 감소시키는 데 기여함을 확인했다.