[논문 리뷰] Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation

Hao Chen, Han, Xintong외 2명|arXiv (Cornell University)|2022. 09. 30.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 다중 소스 비지도 학습 도메인 적응을 위한 새로운 프레임워크인 멀티프롬프트 어ライ먼트(MPA)를 제안한다. MPA는 다수의 소스 도메인과 타겟 도메인 간의 특징을 일치시키기 위해 학습 가능한 프롬프트를 사용한다. 도메인별로 프롬프트를 학습하고, 자동에코딩을 통해 노이즈를 제거하며, L1 어라이먼트 손실을 통해 예측 일관성을 강제함으로써 MPA는 훨씬 적은 학습 가능한 파라미터로도 도메인넷에서 평균 정확도 54.1%의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Most existing methods for unsupervised domain adaptation (UDA) rely on a shared network to extract domain-invariant features. However, when facing multiple source domains, optimizing such a network involves updating the parameters of the entire network, making it both computationally expensive and challenging, particularly when coupled with min-max objectives. Inspired by recent advances in prompt learning that adapts high-capacity models for downstream tasks in a computationally economic way, we introduce Multi-Prompt Alignment (MPA), a simple yet efficient framework for multi-source UDA. Given a source and target domain pair, MPA first trains an individual prompt to minimize the domain gap through a contrastive loss. Then, MPA denoises the learned prompts through an auto-encoding process and aligns them by maximizing the agreement of all the reconstructed prompts. Moreover, we show that the resulting subspace acquired from the auto-encoding process can easily generalize to a streamlined set of target domains, making our method more efficient for practical usage. Extensive experiments show that MPA achieves state-of-the-art results on three popular datasets with an impressive average accuracy of 54.1% on DomainNet.

연구 동기 및 목표

• 비지도 학습 도메인 적응(Ubiquitous Domain Adaptation, UDA)에서 다수의 소스 도메인 간의 도메인 시프트 문제를 해결하기 위해.
• 공유된 특징 추출기 대신 학습 가능한 프롬프트를 도입함으로써 다중 소스 UDA의 계산 비용과 최적화 난이도를 감소시키기 위해.
• 프롬프트 노이즈 제거와 예측 일관성 강제를 통해 다양한 소스 도메인 간의 일반화 능력과 어라이먼트 성능을 향상시키기 위해.
• 유지보수 가능한 잠재 부분공간 튜닝(Latent Subspace Tuning, LST) 전략을 통해 새로운 타겟 도메인에 효율적으로 적응할 수 있도록 하기 위해.

제안 방법

• 각 소스-타겟 도메인 쌍에 대해, MPA는 도메인 갭을 최소화하기 위해 대비 손실을 사용하여 전용 프롬프트를 학습한다.
• 학습된 프롬프트는 단순한 자동에코더를 통해 재구성되어 도메인 특화된 노이즈를 제거하고 공통의 정제된 임베딩 공간을 추출한다.
• 모든 재구성된 프롬프트 간의 예측을 일치시키기 위해 L1 손실이 적용되어 타겟 이미지에 대한 일관된 분류를 강제한다.
• 자기에코더에서 유도된 저차원 잠재 부분공간은 임베딩된 특징을 통해 잠재 부분공간 튜닝(Latent Subspace Tuning, LST) 전략을 통해 새로운 타겟 도메인에 효율적으로 적응할 수 있게 한다.
• 메서드는 백본으로 CLIP을 고정된 형태로 사용하며, 프롬프트 파라미터만 튜닝함으로써 파라미터 수와 계산 비용을 감소시킨다.
• 클래스별 및 도메인별 프롬프트 토큰을 사용하여 표현 능력과 어라이먼트 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 공유된 특징 추출기 대비 계산 비용을 줄이기 위해, 프롬프트 학습이 다중 소스 UDA에 효과적으로 확장될 수 있는가?
• RQ2 다양한 소스 도메인에서 유도된 프롬프트는 어떻게 노이즈 제거 및 어라이먼트를 통해 강건한 도메인 불변 표현을 형성할 수 있는가?
• RQ3 재학습 없이도 학습된 프롬프트 부분공간이 새로운 타겟 도메인에 효율적으로 일반화될 수 있는가?
• RQ4 프롬프트 설계, 노이즈 제거, 어라이먼트 손실이 다중 소스 UDA의 전체 성능에 미치는 영향은 무엇인가?

주요 결과

• MPA는 다중 소스 UDA에서 도메인넷 데이터셋에서 새로운 최신 기술 수준 평균 정확도 54.1%를 달성한다.
• 모든 기존 다중 소스 UDA 기반 모델보다 크게 앞서며, L1 어라이먼트 손실을 제거했을 경우 클립아트 도메인에서 정확도가 1.5% 감소하는 것으로 나타났다.
• 제거 실험 결과, 자동에코딩을 통한 프롬프트 노이즈 제거가 성능 향상에 기여하며, L1 손실과 자동에코딩을 모두 포함한 전체 MPA 설정이 가장 높은 정확도를 기록한다.
• 최적의 초모수는 τ=0.4, M₁=M₂=16, α=500로, 성능과 효율성의 균형을 잘 맞춘다.
• 잠재 부분공간 튜닝(Latent Subspace Tuning, LST) 전략은 추가 튜닝 최소화로 새로운 타겟 도메인 집합에 효율적으로 적응할 수 있도록 한다.
• 전체 MPA 프레임워크는 최신 기술 수준의 방법 대비 학습 가능한 파라미터 수를 약 1/3으로 줄였음에도 불구하고 뛰어난 정확도를 달성한다.