[논문 리뷰] A Prototype-Oriented Framework for Unsupervised Domain Adaptation

Korawat Tanwisuth, Xinjie Fan외 5명|arXiv (Cornell University)|2021. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 79인용 수 24

한 줄 요약

이 논문은 적은 메모리와 계산량을 사용하는 프로토타입 기반 프레임워크를 제안하며, 학습 중 소스 데이터에 접근하지 않고도 타겟 특징을 소스 도메인에서 유도된 클래스 프로토타입과 정렬함으로써 비지도 도메인 적응을 수행한다. 타겟 특징와 프로토타입 간의 확률적 이중 방향 운반을 통해, 추가 모델 파라미터 없이도 최신 기술 수준(SOTA) 성능을 달성하고, 적대적 기반 방법보다 더 빠른 수렴 속도를 확보한다.

ABSTRACT

Existing methods for unsupervised domain adaptation often rely on minimizing some statistical distance between the source and target samples in the latent space. To avoid the sampling variability, class imbalance, and data-privacy concerns that often plague these methods, we instead provide a memory and computation-efficient probabilistic framework to extract class prototypes and align the target features with them. We demonstrate the general applicability of our method on a wide range of scenarios, including single-source, multi-source, class-imbalance, and source-private domain adaptation. Requiring no additional model parameters and having a moderate increase in computation over the source model alone, the proposed method achieves competitive performance with state-of-the-art methods.

연구 동기 및 목표

• 기존 비지도 도메인 적응 방법이 소스 도메인과 타겟 도메인 간 직접적인 특징 정렬에 의존하는 데에 기인한 한계를 해결하기 위해.
• 도메인 적응에서 샘플링 변동성, 클래스 불균형, 소스 데이터 기밀성 문제를 해결하기 위해.
• 적응 과정에서 소스 데이터에 직접 접근하지 않는 방법을 개발하여 기밀 보장이 가능한 적응을 가능하게 하기 위해.
• 단일 소스, 다중 소스, 소스 비공개 설정을 포함한 다양한 도메인 적응 시나리오에서 빠른 수렴과 견고한 성능을 달성하기 위해.

제안 방법

• 모델의 선형 분류기 가중치를 잠재 공간 내 클래스 프로토타입으로 사용하여 소스 도메인 분포를 표현한다.
• 타겟 특징와 소스 클래스 프로토타입 간의 확률적 이중 방향 운반 문제로 특징 정렬을 수식화한다.
• 운반 비용은 점 대 점 거리 함수를 사용하여 정의되며, 코사인 거리가 가장 효과적임을 입증하였다.
• 기울기 백프로퍼게이션 중 프로토타입에 대한 기울기를 정지시켜 열악한 해를 방지하고 안정성을 향상시킨다.
• 이중 운반 손실을 도입하여, 타겟 특징을 프로토타입으로 매핑하는 데와 프로토타입을 타겟 특징으로 매핑하는 데 각각의 손실을 적용한다.
• 모델은 미니배치 단위로 엔드 투 엔드로 훈련되어 추가 모델 파라미터 없이도 효율적이고 확장 가능한 적응이 가능하다.

실험 결과

연구 질문

• RQ1 다양한 도메인 이동 시나리오에서 직접적인 소스-타겟 특징 정렬보다 프로토타입 기반 접근이 성능 면에서 뛰어나게 되는가?
• RQ2 원시 소스 특징 대비 클래스 프로토타입을 사용할 경우, 클래스 불균형과 샘플링 변동성에 대한 견고성이 어떻게 영향을 받는가?
• RQ3 타겟 특징와 프로토타입 간의 이중 방향 운반 메커니즘이 일반화 능력과 수렴 속도에 얼마나 기여하는가?
• RQ4 특히 기밀성이 중요한 응용 분야에서 소스 데이터 접근 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 운반 비용 함수의 선택과 기울기 정지 전략이 모델 최종 성능와 안정성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 PCT 방법은 ResNet-50를 사용하여 Office-31 데이터셋에서 평균 90.0%의 정확도를 달성하여, DeepJDOT 및 POT와 같은 기준 방법들을 능가한다.
• PCT는 매우 빠른 수렴을 보이며, 1,000회 반복 이내에 안정된 성능에 도달하고 이후로는 테스트 정확도의 변동이 극히 미미하다.
• 이중 방향 운반 손실이 성능 향상에 가장 크게 기여하며, $\mathcal{L}_{\mu\rightarrow t}$ 손실을 제거할 경우 정확도가 3.3% 감소한다.
• 프로토타입에 대한 기울기 정지 전략은 정확도를 1.0% 향상시켜, 열악한 해를 방지하는 데서의 기여를 확인한다.
• 코사인 거리 기반 비용 함수는 지수 커널 대비 3.1% 높은 정확도를 기록하여, 특징 유사도를 보다 효과적으로 포착함을 입증한다.
• 모델 파라미터 추가 없이도 단일 소스, 다중 소스, 클래스 불균형, 소스 비공개 설정 등 모든 테스트 환경에서 경쟁 가능한 성능을 달성한다.