[논문 리뷰] f-VAEs: Improve VAEs with Conditional Flows

Jianlin Su, Guang Wu|arXiv (Cornell University)|2018. 09. 16.

Advanced Vision and Imaging인용 수 16

한 줄 요약

이 논문은 정규화 흐름을 변분 오토인코더에 통합하여 이미지 생성 품질을 향상시킨 새로운 생성 모델인 f-VAEs를 제안한다. 표준 VAE보다 더 선명하고 흐릿하지 않은 샘플을 생성하면서도, Glow와 같은 흐름 기반 모델보다 훨씬 더 효율적이며, 동일한 성능 수준에서 수렴 속도가 빠르고 모델 크기가 작다.

ABSTRACT

In this paper, we integrate VAEs and flow-based generative models successfully and get f-VAEs. Compared with VAEs, f-VAEs generate more vivid images, solved the blurred-image problem of VAEs. Compared with flow-based models such as Glow, f-VAE is more lightweight and converges faster, achieving the same performance under smaller-size architecture.

연구 동기 및 목표

• 표준 VAE에서 사용하는 단순한 가우시안 사후분포로 인해 발생하는 이미지 흐림 문제를 해결하기 위해.
• Glow와 같은 흐름 기반 모델이 깊은 커파링 레이어 스택과 광범위한 훈련이 필요로 하는 계산 및 아키텍처 부담을 줄이기 위해.
• VAE와 흐름 기반 모델을 하나의 일반화 가능한 프레임워크로 통합하여 두 모델의 장점을 유지하기 위해.
• 조건부 정규화 흐름 기반의 경량이고 학습 가능한 사후분포를 사용해 효율적이고 고품질의 이미지 생성을 가능하게 하기 위해.

제안 방법

• 모델은 표준 VAE의 사후분포 $p(z|x)$를 조건부 흐름 기반 사후분포 $p(z|x) = \int \delta(z - F_x(u)) q(u) du$로 대체한다. 여기서 $F_x(u)$는 입력 $x$에 조건부로 설정된 매개변수를 가진 흐름이다.
• 조건부 흐름 $F_x(u)$는 가역적인 커파링 레이어를 사용하여 구현되며, 정확한 가능도 계산과 효율적인 사후분포 근사가 가능하다.
• 손실 함수는 KL 발산 $KL(\tilde{p}(x)p(z|x) \| q(z)q(x|z))$의 상한으로 유도되며, 흐름의 로그 자이아코비안 행렬식을 포함하여 정확한 가능도 최적화를 가능하게 한다.
• 에코더 $E(x)$는 스위치 연산을 포함한 깊은 합성곱 신경망이며, 흐름 $F$는 Glow를 영감으로 삼았지만 커널 크기를 줄인 다중 스케일, 깊이 감소 아키텍처이다.
• 디코더 $G(z)$는 에코더의 역함수이며, 현실적인 이미지 샘플을 생성하기 위해 최종적으로 $\tanh$ 활성화 함수를 사용한다.
• 이 프레임워크는 표준 VAE(when $F_x(u)$가 선형 변환으로 축소될 때)와 무조건적 흐름(when $F_x(u)$가 $x$에 독립적일 때)을 특수한 경우로 포함하며, 하나의 목적함수 아래 두 모델을 통합한다.

실험 결과

연구 질문

• RQ1 정규화 흐름이 VAE에 효과적으로 통합되어 이미지 품질을 향상시키면서도 계산 효율성을 유지할 수 있는가?
• RQ2 조건부 흐름 기반 사후분포가 표준 VAE에서 관찰되는 흐림 현상을 상당히 줄일 수 있는가?
• RQ3 Glow보다 더 적은 레이어와 더 작은 모델 크기로도 동일하거나 더 뛰어난 생성 품질을 달성할 수 있는가?
• RQ4 VAE와 흐름 기반 모델을 하나의 일반적이고 미분 가능한 프레임워크로 통합할 수 있는가?

주요 결과

• f-VAEs는 VAE 생성 이미지의 흐림 문제를 성공적으로 제거하여 표준 VAE보다 더 선명하고 현실적인 샘플을 생성한다.
• 64x64 CelebA-HQ에서 f-VAEs는 샘플 품질과 훈련 속도 면에서 Glow를 능가하며, 단일 GTX 1060에서 7시간의 훈련으로도 더 좋은 결과를 달성한다.
• 128x128 CelebA-HQ에서 f-VAEs는 Glow보다 더 작은 아키텍처로 최신 기준 성능을 달성하여 뛰어난 파라미터 효율성을 보여준다.
• f-VAEs의 잠재 공간에서의 선형 보간은 실제 이미지 간에 매끄럽고 의미 있는 전이를 보이며, 잘 구조화되고 분리된 잠재 표현임을 시사한다.
• 프레임워크는 표준 VAE와 무조건적 흐름 모델을 특수한 경우로 포함하며, 이는 이론적 일반성과 통합 능력을 확인한다.
• 절단 분석 결과, 에코더에서 3x3 컨볼루션의 사용이 인지적 집중을 제한할 수 있음을 시사하며, 향후 Network-in-Network나 渐進적 성장과 같은 더 체계적인 아키텍처를 탐색할 필요가 있음을 시사한다.