[논문 리뷰] Geometry-Consistent Generative Adversarial Networks for One-Sided Unsupervised Domain Mapping

Huan Fu, Mingming Gong외 4명|arXiv (Cornell University)|2018. 09. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 58인용 수 18

한 줄 요약

이 논문은 기하 일관성 제약을 도입한 GAN(GcGAN)을 제안한다. 이는 쌍화된 학습 데이터가 없이도 기하학적 변환(예: 회전)이 영상 간 매핑 과정에서 유지되도록 보장함으로써, 단방향 비지도 도메인 번역을 수행한다. 원본 이미지와 변환된 이미지 양쪽에서 생성자에 대해 동시 정규화함으로써 GcGAN은 모드 붕괴와 의미적 왜곡을 감소시키며, 사진 → 지도 및 모네트 스타일 → 사진 번역과 같은 작업에서 기존 GAN 기반 모델 대비 18–22% 높은 픽셀 정확도를 달성하여 최신 기술 수준을 확보한다.

ABSTRACT

Unsupervised domain mapping aims to learn a function to translate domain X to Y by a function GXY in the absence of paired examples. Finding the optimal GXY without paired data is an ill-posed problem, so appropriate constraints are required to obtain reasonable solutions. One of the most prominent constraints is cycle consistency, which enforces the translated image by GXY to be translated back to the input image by an inverse mapping GYX. While cycle consistency requires the simultaneous training of GXY and GY X, recent studies have shown that one-sided domain mapping can be achieved by preserving pairwise distances between images. Although cycle consistency and distance preservation successfully constrain the solution space, they overlook the special properties that simple geometric transformations do not change the semantic structure of images. Based on this special property, we develop a geometry-consistent generative adversarial network (GcGAN), which enables one-sided unsupervised domain mapping. GcGAN takes the original image and its counterpart image transformed by a predefined geometric transformation as inputs and generates two images in the new domain coupled with the corresponding geometry-consistency constraint. The geometry-consistency constraint reduces the space of possible solutions while keep the correct solutions in the search space. Quantitative and qualitative comparisons with the baseline (GAN alone) and the state-of-the-art methods including CycleGAN and DistanceGAN demonstrate the effectiveness of our method.

연구 동기 및 목표

• 쌍화된 학습 데이터가 없음에도 불구하고 도메인 매핑 문제의 불안정한 성격을 해결하기 위해 기하 일관성 제약을 도입함으로써 학습 안정성과 번역 품질을 향상시키는 것.
• 사이클 일관성과 거리 보존 기반 기법의 한계를 극복하기 위해 단순한 기하학적 변환(예: 회전)에 따른 의미적 구조의 불변성을 활용하는 것.
• 양방향 생성자 동시 학습이 필요 없이도 고성능의 의미적으로 일관된 번역 결과를 도출할 수 있도록 단방향 도메인 매핑을 가능하게 하는 것.
• 변환된 이미지 쌍에 대해 생성자를 동시 정규화함으로써 GAN 기반 도메인 번역에서 의미적 왜곡과 모드 붕괴를 감소시키는 것.
• 기존의 CycleGAN 및 DistanceGAN 등의 방법과 비교했을 때 기하 일관성 제약이 다양한 영상 번역 작업에서 우수한 성능과 호환성을 보임을 입증하는 것.

제안 방법

• 기하 일관성 제약을 도입: 정의된 기하학적 변환 $ f(\cdot) $에 대해, 번역된 이미지 $ G_{XY}(x) $ 는 $ f(G_{XY}(x)) \approx G_{\tilde{X}\tilde{Y}}(f(x)) $ 를 만족해야 한다. 여기서 $ \tilde{X}, \tilde{Y} $ 는 변환된 도메인을 의미한다.
• 생성자는 원본 이미지 $ x \in \mathcal{X} $ 와 그 변환된 형태 $ f(x) $ 양쪽에서 학습되며, 출력에 적용된 변환과 변환된 입력에 대한 생성자 출력이 일치하도록 제약을 둔다.
• 사이클 유사도 손실을 통해 제약을 구현: $ \| f(G_{XY}(x)) - G_{\tilde{X}\tilde{Y}}(f(x)) \|_1 \approx 0 $ 로 표현되며, 이는 도메인 간 기하학적 구조의 유지 보장을 보장한다.
• 표준 GAN 프레임워크를 사용하되, 생성자는 원본 및 변환된 이미지 번역 간의 연결을 고려한 추가적인 기하 일관성 손실을 포함한다.
• 기존의 제약(예: 사이클 일관성, 거리 보존)과 호환되며, 이를 함께 사용함으로써 성능 향상을 더욱 강화할 수 있다.
• 쌍화된 예제나 명시적 지도 학습 없이도 비지도 방식으로 학습되며, 이는 쌍화된 데이터가 필요 없음을 의미한다.

실험 결과

연구 질문

• RQ1 쌍화된 데이터 없이도 기하학적 변환에 대한 일관성 제약을 도입함으로써 단방향 비지도 도메인 번역 성능을 향상시킬 수 있는가?
• RQ2 기하 일관성 제약이 GAN 기반 도메인 번역 모델에서 모드 붕괴와 의미적 왜곡을 감소시키는가?
• RQ3 기하학적 불변성을 활용함으로써 양방향 모델(예: CycleGAN)과 비교해도 성능이 유사하거나 뛰어난 단방향 도메인 매핑 모델을 구현할 수 있는가?
• RQ4 기하 일관성 제약이 기존의 사이클 일관성 또는 거리 보존 제약과 어떻게 상호작용하는가?
• RQ5 기하 일관성 제약이 실세계 도메인 번역 작업에서 RMSE 및 픽셀 정확도와 같은 정량적 지표에 얼마나 기여하는가?

주요 결과

• Aerial photo → Map 번역 작업에서 GcGAN는 기준 GAN 대비 픽셀 정확도(δ = 5)에서 21.9% 향상되어 세부 정보 보존 능력이 뛰어나다는 것을 입증했다.
• Aerial photo → Map 벤치마크에서 GcGAN-Mix 버전은 RMSE 27.98을 기록했으며, CycleGAN(RMSE: 28.15)과 GAN 단독(RMSE: 33.27)을 모두 초월했다.
• Monet-to-Photo 번역 작업에서 GcGAN는 GAN 단독 및 CycleGAN보다 더 현실적이고 의미적으로 일관된 출력 결과를 도출했으며, 정성적 비교를 통해 이를 확인했다.
• 제거 분석 결과, GcGAN-rot + 사이클 손실 조합은 RMSE 28.21과 정확도 40.6%($ \delta = 5 $)를 기록했으며, 이는 기하 일관성이 사이클 일관성과 상호보완적임을 시사한다.
• GcGAN-rot 버전은 픽셀 정확도 41.2%($ \delta = 5 $)를 기록했으며, GAN 단독(19.3%)을 뛰어나고 동일 벤치마크에서 CycleGAN(41.8%)과 유사한 성능을 보였다.
• 정성적 결과를 통해 GcGAN는 모드 붕괴를 효과적으로 완화하고, 말라리아-제브라, 낮-밤, 합성-실제 영상 등 다양한 도메인에서 더 다양하고 현실적인 번역 결과를 생성함을 확인했다.