[논문 리뷰] Clarinet: A One-step Approach Towards Budget-friendly Unsupervised Domain Adaptation

Yiyang Zhang, Feng Liu외 4명|arXiv (Cornell University)|2020. 07. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 5

한 줄 요약

이 논문은 보다 저렴한 비용으로 진짜 레이블이 없는 소스 데이터를 사용하는 보조적 레이블 소스 데이터와 레이블이 없는 타겟 데이터를 기반으로 한 단일 단계의 딥러닝 프레임워크인 CLARINET을 제안한다. 이는 고비용의 진짜 레이블 소스 데이터를 사용하지 않고도 학습을 수행한다. 새로운 매핑 함수를 통해 보조 레이블 손실과 도메인 적대적 적응을 동시에 최적화함으로써, CLARINET은 여섯 개의 BFUDA 벤치마크에서 최신 기준 성능을 달성하며, 두 단계 기반 기준 모델들과 표준 UDA 방법보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

In unsupervised domain adaptation (UDA), classifiers for the target domain are trained with massive true-label data from the source domain and unlabeled data from the target domain. However, it may be difficult to collect fully-true-label data in a source domain given a limited budget. To mitigate this problem, we consider a novel problem setting where the classifier for the target domain has to be trained with complementary-label data from the source domain and unlabeled data from the target domain named budget-friendly UDA (BFUDA). The key benefit is that it is much less costly to collect complementary-label source data (required by BFUDA) than collecting the true-label source data (required by ordinary UDA). To this end, the complementary label adversarial network (CLARINET) is proposed to solve the BFUDA problem. CLARINET maintains two deep networks simultaneously, where one focuses on classifying complementary-label source data and the other takes care of the source-to-target distributional adaptation. Experiments show that CLARINET significantly outperforms a series of competent baselines.

연구 동기 및 목표

• 비지도 도메인 적응(Ubiquitous Domain Adaptation, UDA)에서 진짜 레이블 소스 데이터의 높은 레이블링 비용 문제를 해결하기 위해, 저렴한 보조 레이블 데이터를 사용하는 새로운 문제 설정인 저비용 UDA(BFUDA)를 도입한다.
• 보조 레이블 소스 데이터에서 직접 레이블이 없는 타겟 데이터로의 적응을 수행하는 단일 단계 방법을 개발하여, 두 단계 접근 방식에서 발생하는 가짜 레이블 오차 누적 문제를 방지한다.
• 보조 레이블 분류와 도메인 불변 표현 학습을 동시에 최적화하는 딥 네ural 네트워크 아키텍처를 설계한다.
• 표준 UDA 방법이 보조 레이블에 의한 노이즈가 있는 가짜 레이블 데이터를 효과적으로 처리하지 못함을 검증하고, 제안된 엔드 투 엔드 프레임워크의 우수성을 입증한다.

제안 방법

• CLARINET은 공유 특징 추출기 G, 레이블 예측기 F, 조건부 도메인 구분기 D를 갖춘 이중 네트워크 아키텍처를 사용하여 도메인 불변 특징을 학습한다.
• 새로운 매핑 함수 T를 사용하여 보조 레이블에 대한 손실을 도입함으로써, 분류기 예측을 진짜 레이블 분포와 더 잘 일치시키도록 한다.
• 보조 레이블에 대한 교차 엔트로피 손실과 도메인 적대적 손실을 조합하여, 도메인 간 차이를 최소화하는 방식으로 엔드 투 엔드로 모델을 훈련한다.
• 매핑 함수 T는 잘못된 레이블에서 기인하는 편향을 줄이고, BFUDA 환경에서 일반화 성능을 향상시키기 위해 분류기 출력을 산란시키는 방식으로 설계되었다.
• SGD를 사용하며, 학습률 스케줄링과 도메인 적대적 가중치 조정을 적용하였으며, CDAN과 DANN의 표준 프로토콜을 따르고 있다.
• 표준 데이터셋을 사용한 여섯 개의 도메인 적응 작업에서 프레임워크를 평가하였으며, 하이퍼파rameter는 이전 연구들과 동일하게 설정하였다.

실험 결과

연구 질문

• RQ1 보조 레이블 소스 데이터에서 직접 레이블이 없는 타겟 데이터로 지식을 전이하는 단일 단계 딥러닝 프레임워크는 두 단계 기반 접근 방식보다 효과적으로 성능을 높일 수 있는가?
• RQ2 제안된 매핑 함수 T는 보조 레이블에서 기인하는 노이즈를 완화함으로써 BFUDA 환경에서의 적응 성능을 뚜렷이 향상시키는가?
• RQ3 CDAN이나 DANN과 같은 표준 UDA 방법은 BFUDA 작업에 직접 적용될 수 있는가, 아니면 노이즈가 있는 가짜 레이블로 인해 실패하는가?
• RQ4 보조 레이블 학습과 도메인 적응을 동시에 최적화하는 CLARINET의 접근 방식은 별도의 훈련 단계와 비교해 복수의 수렴성과 정확도 측면에서 어떻게 다를까?
• RQ5 매핑 함수 T는 여러 개의 BFUDA 벤치마크에서 모델의 안정성과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• CLARINET은 여섯 개의 BFUDA 작업 평균 정확도 85.451%를 기록하여, 이어지는 최고 성능 기준 모델인 GAC+CDAN(82.426%)을 크게 앞서며 최고의 성능을 달성했다.
• 두 단계 기반 기준 모델인 GAC+CDAN는 M→U 및 M→m 작업에서 일정 수의 에포크 이후 정확도가 감소하는 불안정한 성능을 보이며, 가짜 레이블 노이즈에 대한 취약성을 드러냈다.
• 매핑 함수 T를 포함한 CLARINET은 U→M 작업에서 84.499%의 정확도를 기록했고, T를 제거한 아블레이션 버전(C w/o T)은 82.112%에 머물러 T의 효과를 입증했다.
• 아블레이션 연구 결과, 보조 레이블 손실을 표준 교차 엔트로피 손실로 대체한 경우(C w/ L_CE) 정확도가 급격히 떨어지며, UDA 방법이 BFUDA를 직접 처리할 수 없음을 확인했다.
• CLARINET은 모든 작업에서 정확도가 안정적으로 증가하고 수렴하는 경향을 보이며, 두 단계 기반 방법의 정체 또는 진동하는 행동과는 대조적으로 안정적이고 효과적인 훈련을 보였다.
• 제안된 프레임워크는 저비용 보조 레이블 데이터에서 타겟 도메인으로 지식을 성공적으로 전이함으로써, BFUDA 패러다임의 실현 가능성과 우수성을 입증했다.