[논문 리뷰] Guided Image Generation with Conditional Invertible Neural Networks

Lynton Ardizzone, Carsten Lüth외 3명|arXiv (Cornell University)|2019. 07. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 262

한 줄 요약

본 논문은 invertible flow와 conditioning 네트워크를 결합한 conditional invertible neural networks (cINN)를 제안하여 최대우도 학습으로 훈련된 다양하고 고품질의 조건부 이미지 생성을 가능하게 하며, MNIST 생성 및 ImageNet 색상화에서 bidirectional 잠재공간 조작을 시연한다.

ABSTRACT

In this work, we address the task of natural image generation guided by a conditioning input. We introduce a new architecture called conditional invertible neural network (cINN). The cINN combines the purely generative INN model with an unconstrained feed-forward network, which efficiently preprocesses the conditioning input into useful features. All parameters of the cINN are jointly optimized with a stable, maximum likelihood-based training procedure. By construction, the cINN does not experience mode collapse and generates diverse samples, in contrast to e.g. cGANs. At the same time our model produces sharp images since no reconstruction loss is required, in contrast to e.g. VAEs. We demonstrate these properties for the tasks of MNIST digit generation and image colorization. Furthermore, we take advantage of our bi-directional cINN architecture to explore and manipulate emergent properties of the latent space, such as changing the image style in an intuitive way.

연구 동기 및 목표

• 새로운 아키텍처를 소개한다: INN과 conditioning 경로를 결합한 conditional invertible neural network (cINN).
• INN과 conditioning 구성요소를 공동으로 최적화하기 위한 안정적인 최대우도(최대 가능도) 기반 학습 절차를 제공한다.
• 재구성 손실 없이 다양성과 선명한 이미지를 시연하여 조건부 생성에서 모드 붕괴를 해결한다.
• 출현하는 잠재공간 특성을 탐구하고 bidirectional 설계를 통해 이미지 속성을 직관적으로 조작할 수 있도록 한다.

제안 방법

• conditioning c를 서브네트워크에 첨가하여 conditional 입력에 affine coupling blocks를 확장한다.
• conditioning 네트워크 h를 사용해 c를 표현 c~으로 전처리하고 이를 가능도 학습 목표에 연결한다.
• 최대우도 학습으로 pX(x; c, θ) = pZ(f(x; c, θ)) |det(df/dx)|를 이용하고 손실 E[-log pX] + 정규화를 최소화한다.
• 새 이미지를 샘플링하려면 z ~ pZ(z)를 샘플링하고 역함수 f^{-1}(z; c, θML)를 적용한다.
• ML 학습에서 pZ 밖의 잠재 벡터는 큰 가능도 손실을 유발하므로 모드 붕괴를 피한다.
• 데이터 증강(노이즈)과 안정성 기법(soft-clamping of s, Xavier initialization, soft channel permutations)을 포함한다.

실험 결과

연구 질문

• RQ1 임의의 입력에 조건부로 다양하고 고품질의 이미지를 모드 붕괴 없이 생성할 수 있는 conditional invertible 아키텍처가 있는가?
• RQ2 재구성 손실을 피하고 선명한 결과를 생성하도록 cINNs를 조건부 생성에 대해 학습시키는 데 최대우도 학습이 충분한가?
• RQ3 이미지와 같은 복잡한 조건에서 conditioning 신호와 전반적인 생성 품질을 conditioning 네트워크가 어떻게 개선하는가?
• RQ4 그레이스케일이나 스타일 정보와 같은 입력에 조건부로 bidirectional cINN을 사용할 때 어떤 잠재공간 조작이 가능한가?

주요 결과

• cINN 프레임워크는 재구성 손실에 의존하지 않고 다양하고 선명한 조건부 이미지를 생성한다.
• 최대우도 학습은 안정적인 최적화를 제공하고 일부 GAN 기반 접근법에 비해 모드 붕괴를 완화한다.
• 이 방법은 조건부 MNIST 숫자 생성과 ImageNet의 다양한 색상화를 시연하여 효과적인 conditioning과 다양성을 보여준다.
• 양방향 설계는 출현하는 잠재공간 속성의 조작을 가능하게 하며, 잠재 변수로 이미지 스타일을 변경하는 것과 같은 결과를 제공합니다.