[논문 리뷰] Optimal Unsupervised Domain Translation

Emmanuel de Bézenac, Ibrahim Ayed외 1명|arXiv (Cornell University)|2019. 06. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 13

한 줄 요약

이 논문은 비지도 도메인 번역을 최적 운반 문제로 공식화함으로써 학습된 매핑의 존재성과 유일성을 보장하는 새로운 프레임워크인 동적 최적 신경 번역(Dynamic Optimal Neural Translation, DONT)을 제안한다. 학습 가능한 벡터장으로 구성된 동역학 시스템으로서 운반을 모델링함으로써 DONT는 매끄러운 보간과 의미론적 제어를 가능하게 하여, 이미지 번역 과제에서 기존의 CycleGAN과 비교해 이론적·실제로 모두 뛰어난 성능을 발휘한다.

ABSTRACT

Domain Translation is the problem of finding a meaningful correspondence between two domains. Since in a majority of settings paired supervision is not available, much work focuses on Unsupervised Domain Translation (UDT) where data samples from each domain are unpaired. Following the seminal work of CycleGAN for UDT, many variants and extensions of this model have been proposed. However, there is still little theoretical understanding behind their success. We observe that these methods yield solutions which are approximately minimal w.r.t. a given transportation cost, leading us to reformulate the problem in the Optimal Transport (OT) framework. This viewpoint gives us a new perspective on Unsupervised Domain Translation and allows us to prove the existence and uniqueness of the retrieved mapping, given a large family of transport costs. We then propose a novel framework to efficiently compute optimal mappings in a dynamical setting. We show that it generalizes previous methods and enables a more explicit control over the computed optimal mapping. It also provides smooth interpolations between the two domains. Experiments on toy and real world datasets illustrate the behavior of our method.

연구 동기 및 목표

• CycleGAN과 같은 비지도 도메인 번역(UDT) 방법에 이론적 기반 부족으로 인해 쌍이 모호한 경우 해가 잘 정의되지 않는 문제가 존재함을 해결하고자 한다.
• 명시적인 운반 비용을 도입함으로써 UDT를 잘 정의된 최적 운반(OT) 문제로 공식화하여 해의 존재성과 유일성을 보장하고자 한다.
• 동역학적 환경에서 최적 매핑을 효율적으로 계산할 수 있는 실용적이고 미분 가능한 프레임워크를 개발하고자 한다.
• 의미론적 콘텐츠에 대한 명시적 제어와 도메인 간 매끄러운 보간을 가능하게 하고자 한다.
• 쌍이 없는 데이터로도 신경망이 의미 있는, 최소한의, 일관된 매핑을 학습할 수 있음을 보여주고자 한다.

제안 방법

• 시간 이산화된 프레임워크에서 학습 가능한 벡터장이 이끄는 작은 단계의 순서로 매핑을 모델링함으로써 UDT를 동역학적 최적 운반 문제로 재구성한다.
• 각 시간 단계에서 벡터장을 신경망으로 매개변수화하고 매개변수 θ_k를 사용하여 확률적 경사 하강법을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 벡터장의 p-노름을 최소화하는 이산 최적화 문제를 사용하며, 푸시포워드 분포에 대한 라그랑주 제약 조건을 통해 일관성 제약을 강제한다.
• 목표 도메인 일관성 제약(T_♯α = β)은 GAN 기반, 커널 거리, 또는 OT 기반 메트릭을 사용할 수 있는 차이 손실 D를 통해 구현한다.
• 역매핑은 정방향 궤적 계산을 뒤집음으로써 단순히 수행되며, 별도의 재학습이나 아키텍처가 필요하지 않다.
• 예를 들어 사전 학습된 오토인코더를 통해 의미론적 임베딩 공간에 적용함으로써 운반 비용이 의미를 가지며, 의미론적 콘텐츠가 유지된다.

실험 결과

연구 질문

• RQ1 기존의 비지도 도메인 번역 모델, 예를 들어 CycleGAN는 이론적으로 잘 정의되지 않은 상태임에도 불구하고 왜 일반화가 잘 되는가?
• RQ2 해의 존재성과 유일성 보장을 보장하는 잘 정의된 최적 운반 문제로 UDT를 공식화할 수 있는가?
• RQ3 딥 러닝 프레임워크에서 매끄러운 보간을 갖는 최적 운반 매핑을 효율적으로 계산할 수 있는가?
• RQ4 원칙적인 비용 함수를 도입함으로써 의미론적 콘텐츠와 매핑 품질에 대해 더 나은 제어를 달성할 수 있는가?
• RQ5 최적 운반의 동역학적 공식화가 이미지 번역 과제에서 일반화와 보간 성능 향상에 기여하는가?

주요 결과

• 제안된 DONT 프레임워크는 다양한 비용 함수에 대해 최적 운반 매핑의 존재성과 유일성을 보장하여 이전 UDT 방법의 잘 정의되지 않은 문제를 해결한다.
• MNIST와 CelebA에서의 실험 결과, DONT는 CycleGAN보다 더 일관되고 의미론적으로 유의미한 매핑을 학습하며, 도메인 간 명확한 보간 경로를 제공한다.
• 정방향 네트워크의 중간 레이어를 통해 소스 도메인과 타겟 도메인 간 매끄럽고 연속적인 보간이 가능하다.
• 역매핑은 단순히 정방향 궤적을 뒤집는 것으로 수행되며, 별도의 학습이나 아키텍처가 필요하지 않다.
• 의미론적 임베딩 공간(예: ResNet 특징)에 적용할 경우 운반 비용이 의미를 가지며, 번역 과정에서 고수준의 의미론적 정보가 유지된다.
• 감소하는 λ_i를 갖는 라그랑주 제약 조건을 사용함으로써 최적화 중에 일관성 제약이 충족되어 정확한 도메인 간 매핑이 이루어진다.