[논문 리뷰] Learning to Transfer: Unsupervised Meta Domain Translation

Jianxin Lin, Yijun Wang외 2명|arXiv (Cornell University)|2019. 06. 01.

Cancer-related molecular mechanisms research참고 문헌 32인용 수 5

한 줄 요약

이 논문은 메타학습 프레임워크인 메타 번역 GAN(MT-GAN)을 제안하며, 최소한의 데이터로 새로운 비지도 도메인 번역 작업에 빠르게 적응할 수 있도록 일반화 가능한 모델 초기화를 학습함으로써, 적은 샘플로도 최신 기술 성능을 달성한다. MT-GAN은 적대적 학습과 사이클 일致성 정규화를 통해 메타 생성자와 메타 판별자를 함께 훈련함으로써, 5~10개의 도메인 당 샘플만으로도 CycleGAN과 StarGAN을 능가하는 성능을 보이며, 소수 샘플 도메인 번역 작업에서 최고의 성능을 기록한다.

ABSTRACT

Unsupervised domain translation has recently achieved impressive performance with Generative Adversarial Network (GAN) and sufficient (unpaired) training data. However, existing domain translation frameworks form in a disposable way where the learning experiences are ignored and the obtained model cannot be adapted to a new coming domain. In this work, we take on unsupervised domain translation problems from a meta-learning perspective. We propose a model called Meta-Translation GAN (MT-GAN) to find good initialization of translation models. In the meta-training procedure, MT-GAN is explicitly trained with a primary translation task and a synthesized dual translation task. A cycle-consistency meta-optimization objective is designed to ensure the generalization ability. We demonstrate effectiveness of our model on ten diverse two-domain translation tasks and multiple face identity translation tasks. We show that our proposed approach significantly outperforms the existing domain translation methods when each domain contains no more than ten training samples.

연구 동기 및 목표

• 기존의 비지도 도메인 번역 모델이 작업 간 일반화 능력이 부족하고, 전체 재학습 없이도 새로운 도메인에 적응할 수 없다는 한계를 해결하기 위해.
• 이전 작업에서의 경험을 활용하여 인간과 유사한 소수 샘플 학습 방식을 모방함으로써 새로운 도메인 번역 작업에 빠르게 적응할 수 있도록 하기 위해.
• 다양한 도메인 번역 작업에 걸쳐 강건한 초기화를 제공하기 위해 메타 생성자와 메타 판별자를 함께 최적화하는 메타학습 프레임워크를 개발하기 위해.
• 이전 작업에서 효과적인 적응 전략을 학습함으로써, 낮은 데이터 환경에서 수렴 속도와 성능을 향상시키기 위해.

제안 방법

• MT-GAN은 여러 도메인 번역 작업 간에 공통된 초기화를 학습하기 위해 모델 무관 메타학습(MAML) 기반의 메타학습 파라다임을 사용한다.
• 각 메타학습 반복 과정에서 현재 생성자와 판별자 상태를 기반으로 이중 번역 작업을 합성함으로써, 원천 도메인과 대상 도메인 간의 이중 학습을 가능하게 한다.
• 사이클 일치성 메타 최적화 목표를 설계하여, 메타 테스트 샘플에 대한 기대 손실을 최소화함으로써, 미세조정된 모델이 새로운 작업에 잘 일반화되도록 보장한다.
• 프레임워크는 적대적 학습과 사이클 일치성을 결합하며, 생성자는 도메인 간 이미지를 번역하는 데 학습하고, 판별자는 실제 이미지와 생성된 이미지를 구분하는 데 학습한다.
• 메타 최적화 과정은 메타 테스트 데이터에 대한 기대 손실을 최소화하도록 메타 매개변수를 업데이트하여, 수렴 속도 향상과 일반화 능력 향상을 촉진한다.
• 모델은 다양한 이중 도메인 작업과 얼굴 정체성 번역 작업에서 훈련되며, 평가 시에는 1~10개 샘플(도메인 당)의 소수 샘플 설정에서 수행된다.

실험 결과

연구 질문

• RQ1 각 도메인 당 샘플이 극히 적을 때, 메타학습이 비지도 도메인 번역의 일반화 능력을 향상시킬 수 있는가?
• RQ2 제안된 MT-GAN 프레임워크는 CycleGAN과 StarGAN과 같은 표준 GAN 기반 모델에 비해 소수 샘플 도메인 번역에서 어떻게 성능을 냈는가?
• RQ3 메타로 학습된 초기화가 새로운 도메인 번역 작업에서 미세조정 시 수렴 속도를 빠르게 하는가?
• RQ4 훈련 샘플 수가 증가함에 따라 모델 성능이 어느 정도 포화 상태에 도달하며, 고샷 환경에서 표준 모델과 비교해 어떤가?

주요 결과

• MT-GAN은 사진 → 예술가, 여름 → 겨울, 레이블 → 사진 등 다양한 이중 도메인 번역 작업 10개에서 CycleGAN과 StarGAN을 뛰어넘는 성능을 보이며, 도메인 당 5~10개의 샘플만으로도 성능을 확보한다.
• 얼굴 정체성 번역 작업에서는 10샷 훈련에서 MT-GAN이 21.12%의 상위-1 정확도를 기록했고, CycleGAN은 19.04%를 기록하여 소수 샘플 설정에서 일관된 성능 향상을 입증한다.
• 초기 훈련 단계에서 사이클 일치성 손실의 급격한 감소와 더 낮은 최종 손실 값으로 인해, MT-GAN은 수렴 속도가 더 빠르다는 것을 입증한다.
• MT-GAN은 GAN 모드 붕괴와 같은 훈련 불안정성에서 CycleGAN보다 더 빨리 회복하는 것으로 나타나, 이전 작업에서 학습한 강력한 적응 전략을 보유하고 있음을 시사한다.
• 샘플 수가 증가함에 따라 CycleGAN에 대한 성능 향상은 감소한다 — 예를 들어 10샷일 때 2.08% 향상, 25샷일 때 0.41% 향상 — 이는 메타학습이 낮은 데이터 환경에서 가장 큰 이점을 제공한다는 것을 의미한다.
• 모델은 새로운 작업에 잘 일반화되며, 다양한 소스 작업에서 훈련한 후 새로운 도메인 쌍에 대해 효과적인 미세조정을 가능하게 하는 메타로 학습된 초기화를 제공한다.