[논문 리뷰] GANHopper: Multi-Hop GAN for Unsupervised Image-to-Image Translation

Wallace Lira, Johannes Merz외 3명|arXiv (Cornell University)|2020. 02. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 7

한 줄 요약

GANHopper는 쌍화된 데이터 없이 도메인 간 점진적, 단계적인 변환(예: 고양이에서 강아지로)을 학습하는 다중 힙 생성적 적대적 네트워크를 제안한다. 중간 이미지가 가중 혼합 형태를 띠도록 유도하기 위해 새로운 혼합 판별자와 연속성 정규화를 적용함으로써, 색상 조합과 같이 도메인에 특화되지 않은 특징들을 우수하게 유지하면서도 복잡한 기하학적 및 형태 변화를 효과적으로 모델링한다.

ABSTRACT

We introduce GANHopper, an unsupervised image-to-image translation network that transforms images gradually between two domains, through multiple hops. Instead of executing translation directly, we steer the translation by requiring the network to produce in-between images that resemble weighted hybrids between images from the input domains. Our network is trained on unpaired images from the two domains only, without any in-between images. All hops are produced using a single generator along each direction. In addition to the standard cycle-consistency and adversarial losses, we introduce a new hybrid discriminator, which is trained to classify the intermediate images produced by the generator as weighted hybrids, with weights based on a predetermined hop count. We also add a smoothness term to constrain the magnitude of each hop, further regularizing the translation. Compared to previous methods, GANHopper excels at image translations involving domain-specific image features and geometric variations while also preserving non-domain-specific features such as general color schemes.

연구 동기 및 목표

• 큰 기하학적 변화와 도메인 특화된 특징 변화가 요구될 때 비쌍화된 이미지 간 번역 문제를 해결하기 위해.
• 쌍화된 훈련 데이터 또는 중간 이미지에 대한 감독 없이도 제어 가능하고 점진적인 도메인 간 번역을 가능하게 하기 위해.
• 도메인 특화된 특징(예: 얼굴 기하학)을 변환하면서도 도메인에 특화되지 않은 특징(예: 색상 조합)을 유지하기 위해.
• 다중 힙 학습을 통해 탐색 공간을 제약하여 복잡한 번역 과제에서 일반화 및 안정성을 향상시키기 위해.

제안 방법

• 네트워크는 여러 힙을 거쳐 번역을 수행하며, 각 힙은 힙 수에 따라 소스 도메인과 타겟 도메인 이미지의 가중 혼합 형태로 생성된 이미지를 생성한다.
• 새로운 혼합 판별자는 힙 인덱스에 기반해 중간 이미지가 특정 가중 조합의 소스 및 타겟 도메인에 속하는지 분류하도록 훈련된다.
• 방향별로 단일 생성자만을 사용하여 CycleGAN과 유사한 계산 효율성을 유지한다.
• 각 힙에 해당하는 예상 도메인 혼합 형태와 얼마나 유사한지 평가하기 위해 혼합 손실을 도입한다.
• 연속적인 힙 간의 큰 변형을 방지하기 위해 연속성 손실을 적용하여 점진적이고 안정적인 전이를 보장한다.
• 사이클 일致성, 적대적, 혼합, 연속성 손실을 모두 포함한 훈련 프레임워크를 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 다중 힙 번역이 비쌍화된 이미지 간 번역에서 복잡한 기하학적 및 형태 변화를 더 잘 모델링할 수 있는가?
• RQ2 명시적 감독이나 쌍화된 데이터 없이 생성자가 의미 있는 중간 이미지를 생성할 수 있도록 어떻게 이끌 수 있는가?
• RQ3 색상 조합과 같은 도메인에 특화되지 않은 특징들이 대규모 도메인 변환 과정에서 얼마나 잘 유지될 수 있는가?
• RQ4 연속성 손실과 혼합 손실이 번역 품질과 안정성에 미치는 영향은 어떠한가?
• RQ5 다중 힙 제약 조건을 갖춘 단순한 단일 생성자 아키텍처가 더 복잡한 분리 또는 잠재공간 기반 방법보다 우수한 성능을 낼 수 있는가?

주요 결과

• GANHopper는 CycleGAN과 GANimorph보다도 털 색상, 질감 패턴과 같은 입력에 특화된 특징을 더 잘 유지하며, 특히 긴 코를 가진 강아지와 같은 도전적인 케이스에서 뛰어난 성능을 보였다.
• 연속성 손실은 객체가 사라지는 등의 아티팩트(예: 기린 다리가 사라지는 현상)를 크게 감소시키며, 높은 가중치 설정이 이 실패 모드를 완화하는 데 기여했다.
• 혼합 판별자는 중간 이미지 품질에 대한 효과적인 감독을 가능하게 하여 생성된 이미지가 각 힙에서 예상되는 도메인 혼합 형태와 일치하도록 보장했다.
• 혼합 손실 가중치(δ)를 증가시키면 도메인 혼합 정확도가 향상되지만, 너무 높게 설정될 경우 비대칭성 또는 아티팩트가 발생할 수 있다.
• 4개의 힙을 사용할 경우 인간 평가 및 정량적 지표를 통해 직접 번역보다 더 매끄럽고 인지적으로 일관된 전이를 달성했다.
• 다양한 색상 조합과 기하학적 변형에 대해 성능을 유지하며, 개에서 고양이, 고양이에서 개로의 번역 과제에서 모두 강건성을 입증했다.