[논문 리뷰] One-Sided Unsupervised Domain Mapping

Sagie Benaim, Lior Wolf|arXiv (Cornell University)|2017. 06. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 55

한 줄 요약

이 논문은 역방향 매핑을 필요로 하지 않는 한쪽 비지도 도메인 매핑 방법(DistanceGAN)을 제시하고, 도메인 간 대응 거리의 보존을 통해 A 도메인에서 B 도메인으로 매핑을 학습하며, 순환성 기반 제약보다 여러 데이터셋에서 성능이 개선되었음을 보인다.

ABSTRACT

In unsupervised domain mapping, the learner is given two unmatched datasets $A$ and $B$. The goal is to learn a mapping $G_{AB}$ that translates a sample in $A$ to the analog sample in $B$. Recent approaches have shown that when learning simultaneously both $G_{AB}$ and the inverse mapping $G_{BA}$, convincing mappings are obtained. In this work, we present a method of learning $G_{AB}$ without learning $G_{BA}$. This is done by learning a mapping that maintains the distance between a pair of samples. Moreover, good mappings are obtained, even by maintaining the distance between different parts of the same sample before and after mapping. We present experimental results that the new method not only allows for one sided mapping learning, but also leads to preferable numerical results over the existing circularity-based constraint. Our entire code is made publicly available at https://github.com/sagiebenaim/DistanceGAN .

연구 동기 및 목표

• 페어링된 샘플이나 역 매핑 학습 없이 도메인 A에서 도메인 B로의 매핑을 학습하도록 동기를 부여하고 가능하게 한다.
• 매핑 전후의 쌍 간 거리 사이의 상관관계를 강제하는 거리 기반 제약을 제안한다.
• 거리 기반의 한쪽 매핑이 여러 데이터세트에서 순환성 기반 제약과 비교해 경쟁력 있거나 우수한 결과를 산출한다는 것을 보여준다.
• 안정적인 한쪽 번역을 위한 자기거리 제약을 포함한 거리 기반 제약의 실용적 함의를 분석한다.

제안 방법

• A의 쌍 간 거리와 매핑 공간 B에서의 거리 간 상관관계를 최대화하는 거리 기반 손실을 도입한다.
• 원형성 제약을 거리 보존 목적으로 대체하거나 보완한다: Ldistance = E|d_k − d′_k| (A와 B의 정규화된 거리 사용).
• 동일 이미지의 왼쪽/오른쪽 반을 comparing 하여 안정적인 매핑을 촉진하는 자기거리 제약을 제안한다.
• DiscoGAN 및 CycleGAN의 아키텍처를 사용하여 거리 기반 및 자기거리 손실과 함께 GAB (A→B) 및 GBA (B→A)에 대한 적대적 손실로 학습한다.
• GAB를 GBA 없이 학습하는 것이 가능하며 순환성 기준선보다 수치적으로 더 좋은 결과를 낼 수 있음을 보여주고, 실험에서 데이터세트별 파라미터 설정을 제공한다.

실험 결과

연구 질문

• RQ1 역 매핑 없이 도메인 A에서 도메인 B로의 한쪽 매핑을 효과적으로 학습할 수 있는가?
• RQ2 입력과 매핑된 출력 간의 거리 기반 일관성을 강제하는 것이 사이클 일관성 제약과 비교해 더 나은가 또는 동등한가?
• RQ3 자기거리 제약이 한쪽 도메인 매핑의 품질과 안정성에 어떤 영향을 미치는가?
• RQ4 거리 기반 제약이 서로 다른 도메인과 아키텍처(DiscoGAN/CycleGAN 백본)에서 견고한가?

주요 결과

• 한쪽 거리 기반 제약은 GBA를 학습하지 않고도 A에서 B로의 매핑을 성공적으로 학습할 수 있다.
• 거리 기반 접근법은 여러 데이터세트에서 순환성 기반 제약보다 더 나은 수치적 결과를 자주 산출한다(예: CelebA, horses↔zebras, car↔head).
• 거리 제약은 전체 RGB 픽셀 값뿐만 아니라 이미지 내 반에도 적용할 수 있어 구현이 유연하다.
• 자기거리 제약은 한 단계에 하나의 샘플당 추가 정규화 효과를 제공하여 거리 기반 방법을 개선하거나 보완할 수 있다.
• 거리 기반과 순환 제약의 조합이 때때로 최선의 결과를 제공하지만, 일부 데이터세트에서는 거리 단독보다 성능이 떨어질 수 있다.