[논문 리뷰] Butterfly: One-step Approach towards Wildly Unsupervised Domain Adaptation

Feng Liu, Jie Lü외 4명|arXiv (Cornell University)|2019. 05. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 7

한 줄 요약

이 논문은 소스 데이터가 노이즈가 많고 타겟 데이터가 레이블이 없는 와일드리시 뉴즈드 도메인 어댑테이션(WUDA)을 위한 원스텝 프레임워크인 Butterfly를 제안한다. 노이즈 보정, 도메인 어댑테이션, 분류를 동시에 처리하는 네 개의 딥 네트워크를 유지함으로써, Butterfly는 높은 레이블 노이즈 조건에서도 기존의 UDA 방법들을 능가하며, 시뮬레이션 및 실제 세계의 WUDA 벤치마크에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

In unsupervised domain adaptation (UDA), classifiers for the target domain (TD) are trained with clean labeled data from the source domain (SD) and unlabeled data from TD. However, in the wild, it is difficult to acquire a large amount of perfectly clean labeled data in SD given limited budget. Hence, we consider a new, more realistic and more challenging problem setting, where classifiers have to be trained with noisy labeled data from SD and unlabeled data from TD -- we name it wildly UDA (WUDA). We show that WUDA ruins all UDA methods if taking no care of label noise in SD, and to this end, we propose a Butterfly framework, a powerful and efficient solution to WUDA. Butterfly maintains four deep networks simultaneously, where two take care of all adaptations (i.e., noisy-to-clean, labeled-to-unlabeled, and SD-to-TD-distributional) and then the other two can focus on classification in TD. As a consequence, Butterfly possesses all the conceptually necessary components for solving WUDA. Experiments demonstrate that, under WUDA, Butterfly significantly outperforms existing baseline methods.

연구 동기 및 목표

• 소스 도메인 데이터가 완전히 깨끗하지 않은 현실적인 상황에서 분류기를 훈련하는 도전 과제를 다루기.
• 기존의 무 supervision 도메인 어댑테이션(UDA) 방법이 깨끗한 레이블을 전제로 하므로, 노이즈가 많은 소스 데이터에서 실패하는 이유를 규명하기.
• 소스 도메인의 레이블 노이즈 보정과 타겟 도메인으로의 특징 어댑테이션을 동시에 수행하는 통합적이고 원스텝의 접근법을 제안하기.
• 네 개의 딥 네트워크를 유지하여 노이즈 보정, 도메인 정렬, 타겟 분류를 공동 최적화하는 프레임워크를 설계하기.
• 다양한 WUDA 설정에서 강건한 성능을 보여주며, 고노이즈 비율을 가진 시뮬레이션 및 실제 세계 작업 전반에 걸쳐 일관된 성능을 확보하기.

제안 방법

• Butterfly는 네 개의 딥 네트워크를 유지한다: 두 개는 어댑테이션을 위한 것(노이즈에서 깨끗한 레이블로의 변환, 레이블이 있는 데이터에서 레이블이 없는 데이터로의 변환, 도메인 분포 정렬), 두 개는 타겟 도메인 분류를 위한 것.
• 두 학생 네트워크 간 상호 학습을 활용하는 공-테칭 기반의 데이터 보정 모듈(DCP)을 도입하여 소스 도메인 내 노이즈 레이블을 식별하고 수정한다.
• 손실 함수에 제약 조건 $|\theta_{f11}^T \theta_{f21}|$ 을 통합하여 특징의 분리성(디센트레임트)을 강제하고, 노이즈 보정 성능을 향상시킨다.
• 통합 확률 측도(IPM)와 적대적 훈련을 사용하여 소스 및 타겟 도메인 간의 특징 정렬을 공동 최적화함으로써 도메인 어댑테이션을 달성한다.
• 타겟 도메인에 대해 의사 레이블링을 사용하여 예측을 정밀화하고 일반화 성능을 향상시키며, 동시에 보정 모듈이 레이블 노이즈에 대한 강건성을 확보한다.
• 제거 실험을 통해 각 구성 요소의 필요성을 검증하였으며, 네 개의 네트워크 설계와 공-테칭 기반 보정 메커니즘의 유의미함을 입증하였다.

실험 결과

연구 질문

• RQ1 소스 데이터에 높은 수준의 레이블 노이즈가 포함되어 있을 때, 기존의 UDA 방법들이 효과적으로 일반화할 수 있는가?
• RQ2 기존의 두 단계 파이프라인(노이즈 보정 → UDA)에 비해, WUDA에 대해 원스텝 접근이 타당하고 더 효과적인가?
• RQ3 노이즈 보정과 도메인 어댑테이션을 동시에 수행하는 단일 프레임워크에서 최적의 네트워크 아키텍처와 훈련 전략은 무엇인가?
• RQ4 도메인 어댑테이션 맥락에서 공-테칭 기반 데이터 보정 메커니즘이 다른 노이즈 강건 학습 방법보다 어떻게 비교되는가?
• RQ5 제안된 Butterfly 프레임워크는 다양한 노이즈 비율과 다양한 데이터 분포에서 얼마나 높은 성능을 유지하는가?

주요 결과

• Butterfly는 32개의 시뮬레이션된 WUDA 작업에서 모든 기준 UDA 방법보다 뛰어나며, Digit 벤치마크에서 평균 타겟 정확도 75.82%를 달성하여 다음으로 좋은 방법의 71.93%를 상회한다.
• 24개의 시뮬레이션된 감성 WUDA 작업에서는 평균 정확도 63.77%를 기록하여 두 번째로 좋은 방법(62.21%)을 1.5퍼센트 포인트 이상 앞서며 우월성을 입증한다.
• 3개의 실제 세계 WUDA 작업에서는 평균 정확도 62.42%를 달성하여 다양한 실제 데이터 분포에서 일관된 강건성을 보였다.
• 제거 실험을 통해 네 개의 네트워크 설계가 여섯 개의 네트워크 대안보다 더 효과적이며, 공-테칭 기반 보정 메커니즘이 분리 기반 및 MentorNet 대비 뛰어난 성능을 보임을 확인하였다.
• 손실 함수에 포함된 제약 조건 $|\theta_{f11}^T \theta_{f21}|$ 이 성능 향상에 기여하여, 특징 학습과 노이즈 보정의 안정성 확보에 기여함을 입증하였다.
• 오차율 $\rho_{01}^s$ 와 $\rho_{01}^t$ 는 각각 $O(1/\sqrt{n_s T})$ 와 $O(1/\sqrt{n_t T})$ 의 속도로 0으로 수렴하며, 이는 보정 과정의 이론적 수렴성을 확인한다.