[논문 리뷰] Domain Confusion with Self Ensembling for Unsupervised Adaptation

Jiawei Wang, Zhaoshui He외 5명|arXiv (Cornell University)|2018. 10. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 4

한 줄 요약

이 논문은 훈련 불안정성과 적대적 적응에서의 오해적 혼동을 해결하기 위해 도메인 혼동과 자기 앙상블링을 통합한 새로운 비지도 도메인 적응 방법인 도메인 혼동과 자기 앙상블링(DCSE)을 제안한다. 이 방법은 도메인 수준 및 샘플 수준의 일관성을 활용하여 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Data collection and annotation are time-consuming in machine learning, expecially for large scale problem. A common approach for this problem is to transfer knowledge from a related labeled domain to a target one. There are two popular ways to achieve this goal: adversarial learning and self training. In this article, we first analyze the training unstablity problem and the mistaken confusion issue in adversarial learning process. Then, inspired by domain confusion and self-ensembling methods, we propose a combined model to learn feature and class jointly invariant representation, namely Domain Confusion with Self Ensembling (DCSE). The experiments verified that our proposed approach can offer better performance than empirical art in a variety of unsupervised domain adaptation benchmarks.

연구 동기 및 목표

• 적대적 비지도 도메인 적응에서의 훈련 불안정성과 오해적 혼동을 해결하기 위해.
• 도메인 불변성 및 클래스 불변성 표현을 함께 학습하여 일반화 성능을 향상시키기 위해.
• 도메인 혼동과 자기 앙상블링의 장점을 융합하여 더 강력한 특징 학습을 위해.
• 표준 비지도 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이 방법은 적대적 훈련을 통해 소스 도메인과 타겟 도메인 간의 특징을 정렬하는 도메인 혼동 모듈을 도입한다.
• 동일한 입력에 대해 다양한 데이터 증강을 적용한 다중 전방 전파 간 예측의 일관성을 강제하는 자기 앙상블링 구성 요소를 통합한다.
• 도메인 혼동과 자기 앙상블링 목표를 함께 최적화하여 도메인 이동과 클래스 분포 변화에 모두 강인한 표현을 학습한다.
• 도메인 혼동과 예측 일관성 간 균형을 맞춘 복합 손실 함수를 사용하여 특징 및 분류기 파라미터를 종단 간 업데이트한다.
• 동일한 입력에 대해 다중 시각을 생성하기 위해 데이터 증강을 사용하여 자기 앙상블링의 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 적대적 도메인 적합에서의 훈련 불안정성은 어떻게 완화될 수 있는가?
• RQ2 도메인 및 클래스 불변성의 동시 최적화가 적응 성능에 얼마나 기여하는가?
• RQ3 도메인 혼동과 함께 자기 앙상블링을 통합하면 비지도 도메인 적합에서 강건성이 향상되는가?
• RQ4 제안된 방법은 표준 벤치마크에서 기존 최신 기술 수준의 접근법을 초월하는가?

주요 결과

• 제안된 DCSE 방법은 여러 비지도 도메인 적응 벤치마크에서 기존 최신 기술 수준의 방법들보다 뛰어난 성능을 달성한다.
• 도메인 혼동과 자기 앙상블링의 조합은 순수 적대적 접근에서 관찰된 훈련 불안정성을 효과적으로 감소시킨다.
• 동일 샘플의 증강된 시각 간 일관성 있는 예측을 강제함으로써 잘못된 혼동 문제를 완화한다.
• 도메인 및 클래스 불변성의 동시 최적화는 더 강력하고 일반화 능력이 뛰어난 특징 표현을 이끈다.