[논문 리뷰] Multi-Domain Translation by Learning Uncoupled Autoencoders

Karren Yang, Caroline Uhler|arXiv (Cornell University)|2019. 02. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 13

한 줄 요약

이 논문은 공통의 잠재 공간을 공유하는 k개의 비연결된 오토인코더를 학습시켜, 재학습 없이도 새로운 도메인을 순차적으로 추가할 수 있는 새로운 프레임워크를 제안한다. 이 방법은 잠재 공간에서 판별기들을 학습시어 분포 일치를 보장하면서도 모듈성과 효율성을 유지함으로써 이미지 및 유전체 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-domain translation seeks to learn a probabilistic coupling between marginal distributions that reflects the correspondence between different domains. We assume that data from different domains are generated from a shared latent representation based on a structural equation model. Under this assumption, we show that the problem of computing a probabilistic coupling between marginals is equivalent to learning multiple uncoupled autoencoders that embed to a given shared latent distribution. In addition, we propose a new framework and algorithm for multi-domain translation based on learning the shared latent distribution and training autoencoders under distributional constraints. A key practical advantage of our framework is that new autoencoders (i.e., new domains) can be added sequentially to the model without retraining on the other domains, which we demonstrate experimentally on image as well as genomics datasets.

연구 동기 및 목표

• 쌍으로 이루어진 데이터가 각 도메인 간에 제공되지 않는 비지도 다도메인 번역 문제를 해결하기 위해.
• 기존의 CycleGAN 기반 모델이 다수의 도메인으로 확장될 때 성능이 떨어지고 쌍별 학습에 의존하는 한계를 극복하기 위해.
• 기존에 학습된 모델을 재학습하지 않고도 새로운 도메인을 순차적으로 통합할 수 있는 프레임워크를 개발하기 위해.
• k개의 도메인 간 번역을 k개의 독립된 오토인코더로 분해하기 위해 공통 잠재 표현을 활용하기 위해.
• 구조적 사전 지식이 없는 도메인, 예를 들어 이미지와 단세포 옴믹스 데이터와 같은 다양한 도메인 간에 견고한 번역을 가능하게 하기 위해.

제안 방법

• 모든 도메인이 공통 잠재 공간 Z를 공유하는 구조 방정식 모델을 가정하며, 각 도메인 Xi는 Z를 통해 매핑 함수를 통해 생성된다.
• 다도메인 번역을 k개의 비연결된 오토인코더로 분해하여, 각 도메인의 데이터를 독립적으로 재구성하기 위해 적대적 학습을 사용한다.
• 오토인코더는 각 도메인의 근본 분포를 정의된 공통 잠재 분포 pZ에 맞추기 위해, 잠재 공간에서 작동하는 적대적 판별기들을 통해 학습된다.
• 모델은 두 단계 학습 절차를 사용한다: 먼저 저해상도 데이터에서 오토인코더를 학습하고 점차 고해상도로 개선함으로써 학습 안정성을 향상시킨다.
• 유전체 데이터의 경우, 이중 분류 레이블(예: Oct4 발현)을 판별기 내에 통합하여 잠재 공간에서의 일치를 이끌고, 임의의 분포 이탈을 방지한다.
• 원본 도메인의 인코더와 대상 도메인의 디코더를 조합하여 번역을 수행함으로써 양방향 이동이 가능하다.

실험 결과

연구 질문

• RQ1 공통 잠재 공간을 사용하여 다도메인 번역을 독립적인 오토인코더로 분해하면서도 분포 일치를 유지할 수 있는가?
• RQ2 기존에 학습된 도메인을 재학습하지 않고도 새로운 도메인을 모델에 추가할 수 있는가?
• RQ3 구조적 사전 지식이 없는 도메인, 예를 들어 유전체 데이터에 대해 이 프레임워크가 일반화 가능한가?
• RQ4 자연 이미지의 사전 지식이 없는 상황에서 클래스 레이블은 잠재 공간 일치를 안정화시키는 데 어떤 역할을 하는가?
• RQ5 복잡한 데이터, 예를 들어 얼굴 이미지에서 잠재 공간에서의 점진적 학습이 수렴성과 성능을 어떻게 향상시키는가?

주요 결과

• 64×64 CelebA 얼굴 이미지와 손글씨 숫자에서 고해상도 이미지 재구성과 현실적인 번역 결과를 달성하여 다도메인 번역을 성공적으로 수행했다.
• 오토인코더를 먼저 8×8 이미지에서 학습하고 점차 64×64로 확장하는 점진적 학습을 통해 복잡한 이미지 데이터에서 안정적인 학습을 달성했다.
• 단세포 유전체 분석에서 이중 Oct4 레이블을 판별기에 통합함으로써 RNA-seq와 ChIP-seq 데이터 분포가 잠재 공간에서 정확하게 일치했으며, 임의의 분포 이탈을 방지했다.
• 기존 오토인코더를 재학습하지 않고도 새로운 도메인을 순차적으로 추가할 수 있었으며, 이는 모듈성과 확장성의 우수함을 입증했다.
• 시각화 결과는 한 도메인에서 번역된 데이터가 목표 도메인의 진짜 분포와 밀접하게 유사하며, 공통 잠재 공간이 의미 있는 생물학적 및 의미적 구조를 유지하고 있음을 확인했다.