[논문 리뷰] Augmented Cyclic Adversarial Learning for Domain Adaptation.

Ehsan Hosseini-Asl, Yingbo Zhou외 2명|arXiv (Cornell University)|2018. 07. 01.

Speech Recognition and Synthesis참고 문헌 33인용 수 4

한 줄 요약

이 논문은 정확한 재구성 대신 임무에 특화된 모델을 통해 사이클 일관성을 강제하는 보완된 순환 대비 학습 프레임워크를 제안한다. 이는 자원이 적은 도메인 적응 환경에서 임무 관련 콘텐츠를 유지한다. 이는 숫자 분류에서 14% 및 4%의 절대 정확도 향상을 달성했으며, 최소한의 타겟 데이터로 고자원 비지도 방법을 능가한다.

ABSTRACT

Training a model to perform a task typically requires a large amount of data from the domains in which the task will be applied. However, it is often the case that data are abundant in some domains but scarce in others. Domain adaptation deals with the challenge of adapting a model trained from a data-rich source domain to perform well in a data-poor target domain. In general, this requires learning plausible mappings between domains. CycleGAN is a powerful framework that efficiently learns to map inputs from one domain to another using adversarial training and a cycle-consistency constraint. However, the conventional approach of enforcing cycle-consistency via reconstruction may be overly restrictive in cases where one or more domains have limited training data. In this paper, we propose an augmented cyclic adversarial learning model that enforces the cycle-consistency constraint via an external task specific model, which encourages the preservation of task-relevant content as opposed to exact reconstruction. We explore digit classification in a low-resource setting in supervised, semi and unsupervised situation, as well as high resource unsupervised. In low-resource supervised setting, the results show that our approach improves absolute performance by 14% and 4% when adapting SVHN to MNIST and vice versa, respectively, which outperforms unsupervised domain adaptation methods that require high-resource unlabeled target domain. Moreover, using only few unsupervised target data, our approach can still outperforms many high-resource unsupervised models. In speech domains, we similarly adopt a speech recognition model from each domain as the task specific model. Our approach improves absolute performance of speech recognition by 2% for female speakers in the TIMIT dataset, where the majority of training samples are from male voices.

연구 동기 및 목표

• 라벨이 부족한 저자원 타겟 도메인에서의 도메인 적응 문제를 해결하기 위해.
• 기존의 정확한 재구성 방식을 강제하는 순환 일관성의 한계를 극복하기 위해. 이는 임무 관련 특징을 왜곡할 수 있다.
• 최소한의 타겟 데이터로 지도, 준지도, 비지도 도메인 적응 설정에서 일반화 성능을 향상시키기 위해.
• 재구성 외에 임무에 특화된 모델이 순환 일관성을 이끄는 데 효과적인지 탐색하기 위해.
• 고자원 비지도 기준과 비교해 저자원 환경에서 최첨단 성능을 입증하기 위해.

제안 방법

• 표준 순환 일관성 손실을 대체하여, 하류 임무에 관련된 콘텐츠를 유지하면서 도메인 간 변환을 이끄는 임무에 특화된 모델을 사용한다.
• 대비 학습을 통해 소스 도메인과 타겟 도메인 간의 매핑을 학습하여, 두 도메인 간에 현실적인 번역을 보장한다.
• 외부의 임무에 특화된 모델(예: 분류기 또는 음성 인식 모델)을 도입하여 순환 일관성 제약을 감시하고, 픽셀 수준의 정확한 재구성보다 의미적 유지에 중점을 둔다.
• 이 프레임워크를 이미지(SVHN에서 MNIST로) 및 음성(TIMIT) 도메인에 적용하여 저자원 조건에서 모델을 적응시킨다.
• 대비 손실, 임무 모델을 통한 순환 일관성, 임무에 특화된 손실의 조합을 사용해 생성자 최적화를 수행한다.
• 두 단계 학습 과정을 활용한다: 먼저 임무에 특화된 모델을 사전 학습하고, 그 다음 임무 인식 순환 제약을 가진 순환 GAN을 공동으로 학습한다.

실험 결과

연구 질문

• RQ1 재구성 기반 순환 일관성 대신 임무에 특화된 감독을 도입함으로써 저자원 환경에서 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 몇 개의 라벨이 있는 타겟 샘플만 존재할 경우, 제안된 방법은 고자원 비지도 도메인 적응 기준보다 어떻게 성능을 내는가?
• RQ3 임무에 특화된 콘텐츠 유지가 숫자 분류 및 음성 인식에서 성능 향상에 어느 정도 기여하는가?
• RQ4 타겟 도메인이 소스 도메인보다 훨씬 적은 학습 샘플을 가질 경우, 이 방법은 강건성을 유지하는가?
• RQ5 이 프레임워크는 저자원 적응 조건에서 이미지 및 음성과 같은 다양한 모odal 간에 일반화 가능한가?

주요 결과

• 저자원 지도적 환경에서 SVHN에서 MNIST로의 적응 시 분류 정확도가 14% 향상되었다.
• MNIST에서 SVHN로의 적응 시 4%의 절대 정확도 향상을 달성했으며, 고자원 비지도 도메인 적응 방법을 능가했다.
• 몇 개의 비지도 타겟 샘플만 존재하는 조건에서도 많은 고자원 비지도 도메인 적응 모델의 성능을 초월했다.
• TIMIT 데이터셋에서 여성 화자에 대해 음성 인식 정확도가 2% 향상되었으며, 여기서 남성 목소리가 학습 데이터의 대부분을 차지한다.
• 임무에 특화된 모델을 사용해 순환 일관성을 구현함으로써, 표준 재구성 기반 접근 방식보다 더 나은 분류 특징 유지가 이루어졌다.
• 이 프레임워크는 저자원 적응 조건에서 시각 및 음성 도메인 양쪽 모두에서 강력한 일반화 성능을 보였다.