[논문 리뷰] StyleFlow For Content-Fixed Image to Image Translation

Weichen Fan, Jinghuan Chen외 3명|arXiv (Cornell University)|2022. 07. 05.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

StyleFlow는 콘텐츠 고정 이미지 간 번역을 위한 정규화 흐름 기반 생성 모델로, 스타일 인식 정규화(SAN) 모듈을 탑재하여 역행 가능하고 손실 없는 특징 변환을 가능하게 하면서도 의미적 콘텐츠를 유지한다. 픽셀 수준의 재구성 손실이 필요 없이도, 사진적 사실성, 색상화, 스타일 전이와 같은 강한 제약 조건과 일반 제약 조건이 적용된 작업에서 높은 콘텐츠 유지 및 스타일 전이 성능을 달성하여 이전 방법들을 능가한다.

ABSTRACT

Image-to-image (I2I) translation is a challenging topic in computer vision. We divide this problem into three tasks: strongly constrained translation, normally constrained translation, and weakly constrained translation. The constraint here indicates the extent to which the content or semantic information in the original image is preserved. Although previous approaches have achieved good performance in weakly constrained tasks, they failed to fully preserve the content in both strongly and normally constrained tasks, including photo-realism synthesis, style transfer, and colorization, etc. To achieve content-preserving transfer in strongly constrained and normally constrained tasks, we propose StyleFlow, a new I2I translation model that consists of normalizing flows and a novel Style-Aware Normalization (SAN) module. With the invertible network structure, StyleFlow first projects input images into deep feature space in the forward pass, while the backward pass utilizes the SAN module to perform content-fixed feature transformation and then projects back to image space. Our model supports both image-guided translation and multi-modal synthesis. We evaluate our model in several I2I translation benchmarks, and the results show that the proposed model has advantages over previous methods in both strongly constrained and normally constrained tasks.

연구 동기 및 목표

• 이미지 간 번역에서 콘텐츠 왜곡 문제를 해결하며, 특히 의미적 콘텐츠를 유지해야 하는 강한 제약 조건과 일반 제약 조건이 적용된 작업에서의 성능을 향상시키기 위해.
• 사이클 일致 GAN과 VAE의 한계를 극복하여 번역 과정에서 복잡한 의미적 구조를 잘 유지하지 못하는 문제를 해결하기 위해.
• 픽셀 수준의 재구성 손실에 의존하지 않고도, 쌍이 없는, 다중 모달리티 및 다중 도메인 이미지 번역을 지원하는 통합 프레임워크를 개발하기 위해.
• 원본 및 대상 특징에 조건화된 애핀 매개변수를 학습하여 콘텐츠 고정 스타일 전이를 가능하게 하는 새로운 정규화 모듈을 도입하기 위해.
• 특히 이전 방법이 실패하는 환경에서도 다양한 이미지 번역 벤치마크에서 콘텐츠 유지 및 스타일 전이 성능을 뛰어나게 확보하기 위해.

제안 방법

• 입력 이미지를 깊은 특징 공간으로 매핑하고 손실 없는 재구성을 위해 완전히 가역적인 커파링 블록으로 구성된 역행 가능한 정규화 흐름 아키텍처를 활용한다.
• 스탠다드한 정규화 레이어와는 달리, 원본 특징의 평균과 분산을 학습 가능한 콘텐츠 가이드 애핀 매개변수를 사용해 조정함으로써, 대상 스타일에 맞추되 원본 콘텐츠를 유지하는 스타일 인식 정규화(SAN) 모듈을 도입한다.
• 기존의 픽셀 수준 재구성 손실을 대체로 사전 학습된 VGG 네트워크를 통해 계산된 인지 손실(콘텐츠 손실 및 스타일 손실)을 사용하여 분포 편향을 줄인다.
• 쌍이 없는 학습 환경에서 특히 효과적인, 콘텐츠 유지와 스타일 전이 간 균형을 맞추는 '일치 스타일 손실'을 제안한다.
• 이미지 기반 및 샘플링 기반 추론을 모두 지원하여, 단일 모델로 다중 모달리티 및 다중 도메인 번역을 가능하게 한다.
• 쌍이 없는 데이터가 대부분인 설정에서도, 사이클 일치 손실과 인지 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 강한 제약 조건과 일반 제약 조건이 적용된 작업에서, 역행 가능한 정규화 흐름 아키텍처가 복잡한 의미적 콘텐츠를 효과적으로 유지할 수 있는가?
• RQ2 기존 정규화 레이어와 비교해 스타일 인식 정규화(SAN) 모듈이 콘텐츠 고정 특징 변환에 어떻게 기여하는가?
• RQ3 기존 스타일 손실에 비해, 쌍이 없는 다중 모달리티 환경에서 일치 스타일 손실이 번역 품질을 얼마나 향상시키는가?
• RQ4 단일 통합 모델이 도메인 특화 미세조정 없이도 여러 도메인(예: GTA에서 Cityscapes, GTA에서 KITTI) 간 높은 품질의 번역을 달성할 수 있는가?
• RQ5 픽셀 수준 재구성 손실이 없는 것이 성능에 악영향을 미치는가? 만약 그렇다면, 모델은 어떻게 이미지 품질을 유지하는가?

주요 결과

• SSIM, FID, KID 지표로 측정한 결과, StyleFlow는 강한 제약 조건과 일반 제약 조건이 적용된 작업에서 콘텐츠 유지 측면에서 최신 기준(SOTA) 성능을 달성한다.
• GTA-to-Cityscapes 및 GTA-to-KITTI 벤치마크에서, FID(14.2 vs. 16.8)와 KID(0.0042 vs. 0.0061)에서 CycleGAN, CUT, DRIT++를 모두 앞서며 분포 일치 성능이 뛰어나다는 것을 확인했다.
• 제거 실험 결과, 일치 스타일 손실을 제거하면 시각적 품질이 뚜렷하게 떨어지고, 부드러움 손실을 생략하면 격자 무늬 아티팩트가 발생함을 확인했다.
• 다중 모달리티 합성에서는 동일한 입력에 대해 다양한 사진적 사실성 있는 출력을 생성한다(예: 여름 이미지에서 여러 겨울 버전). 이는 강력한 생성 다양성을 보여준다.
• 사진적 사실성 및 스타일 전이와 같은 이미지 기반 번역에서는 DRIT++ 및 MUNIT보다 더 선명하고 현실적인 출력을 생성하며, SSIM(0.92 vs. 0.88)은 높고 FID(12.1 vs. 14.5)는 낮아 성능이 뛰어나다.
• 색상화, 화소 제거, 향상 등 다양한 작업에서 높은 성능 유지를 보이며, 콘텐츠 고정 번역에서의 일반화 능력을 확인했다.