[논문 리뷰] Decoupling Global and Local Representations via Invertible Generative Flows

Xuezhe Ma, Xiang Kong외 2명|arXiv (Cornell University)|2020. 04. 11.

Algorithms and Data Compression참고 문헌 56인용 수 5

한 줄 요약

이 논문은 유역 흐름 기반 디코더를 사용하여 글로벌 및 로컬 이미지 표현을 분리하는 VAE 기반의 새로운 생성 모델을 제안한다. 이 모델은 내용과 스타일 유사 특징의 비지도 분리 표현을 가능하게 하며, 글로벌 잠복 코드에 조건부로 설정된 흐름 네트워크를 통해, 명시적 지도 학습이나 아키텍처 수정 없이도 상태 기반의 표현 학습과 제어 가능한 이미지 생성을 달성한다.

ABSTRACT

In this work, we propose a new generative model that is capable of automatically decoupling global and local representations of images in an entirely unsupervised setting, by embedding a generative flow in the VAE framework to model the decoder. Specifically, the proposed model utilizes the variational auto-encoding framework to learn a (low-dimensional) vector of latent variables to capture the global information of an image, which is fed as a conditional input to a flow-based invertible decoder with architecture borrowed from style transfer literature. Experimental results on standard image benchmarks demonstrate the effectiveness of our model in terms of density estimation, image generation and unsupervised representation learning. Importantly, this work demonstrates that with only architectural inductive biases, a generative model with a likelihood-based objective is capable of learning decoupled representations, requiring no explicit supervision. The code for our model is available at https://github.com/XuezheMax/wolf.

연구 동기 및 목표

• 비지도 방식으로 글로벌(콘텐츠 유사) 및 로컬(스타일 유사) 이미지 표현을 자동으로 분리하는 생성 모델을 개발하는 것.
• 명시적 지도 학습 없이 아키텍처에 내장된 인도티브 비스(예: 흐름 아키텍처)만으로도 가능할지 여부를 탐구하는 것.
• VAE와 역행성 흐름을 결합하여 복잡하고 분리된 데이터 분포를 모델링함으로써 이미지 생성 및 표현 학습을 향상시키는 것.
• 분리된 잠복 표현을 통해 이미지 스위칭 및 보간과 같은 제어 가능한 이미지 조작을 가능하게 하는 것.

제안 방법

• 모델는 글로벌 잠복 코드 $ z $ 가 고수준의 이미지 구조를 캡처하고, 이를 흐름 기반 디코더의 조건부 입력으로 사용하는 VAE 프레임워크를 사용한다.
• 디코더는 신경 스타일 전이에서 영감을 얻은 역행성 흐름 네트워크로, 정확한 가능도 계산과 잠복 공간에서 이미지 공간으로의 역행성 변환을 허용한다.
• 흐름 아키텍처는 $ z $ 를 조건으로 하여 글로벌 특징를 제어하고, 흐름이 로컬 변형을 학습함으로써 분리된 생성을 가능하게 한다.
• 변분 추론 설정에서 $ q_\phi(z|x) $ 를 인코더로, 흐름 기반 $ p_\theta(x|z) $ 를 디코더로 사용하여 ELBO 목적함수를 최적화한다.
• 역행성 흐름은 정확한 밀도 추정을 가능하게 하며, $ z $ 를 조작하여 이중 차원 보간 및 이미지 스위칭 연산을 지원한다.
• 이 방법은 명시적 지도 학습이나 분리 표현을 위한 추가 손실 항목 없이, 아키텍처에 내장된 인도티브 비스(예: 흐름 구조 및 조건부 설정)에 의존한다.

실험 결과

연구 질문

• RQ1 명시적 지도 학습 없이 아키텍처에 내장된 인도티브 비스만을 사용하는 가능도 기반 생성 모델이 글로벌 및 로컬 표현을 분리하여 학습할 수 있는가?
• RQ2 글로벌 잠복 코드에 조건부로 설정된 흐름 기반 디코더는 비지도 표현 학습 및 이미지 생성에서 얼마나 잘 성능을 내는가?
• RQ3 이 모델이 이미지 간 글로벌 특징를 스위칭하는 등의 제어 가능한 이미지 조작을 어느 정도 지원할 수 있는가?
• RQ4 제안된 아키텍처는 표준 VAE 및 기타 흐름 기반 모델 대비 분리도 및 표현 품질에서 뛰어난 성능을 보이는가?

주요 결과

• 모델은 선형 평가 벤치마크에서 59.53%의 표현 학습 정확도를 달성하여, 기존 방법들인 VAE(39.59%) 및 BiGAN(44.90%)를 크게 능가한다.
• 모델은 CIFAR-10, ImageNet, LSUN Bedroom, CelebA-HQ 데이터셋에서 뛰어난 이미지 생성 품질과 밀도 추정 성능을 보였다.
• 이미지 간 글로벌 표현 스위칭 작업은 다양한 데이터셋에서 시각적으로 일관된 결과를 생성하였으며, 효과적인 분리 표현을 시사한다.
• 실제 이미지 간 이중 차원 보간이 가능하며, 글로벌 및 로컬 특징에 대한 분리 제어를 반영하는 부드러운 전환을 보였다.
• 흐름 잠복 변수 $ \upsilon $ 를 사용할 경우 모델은 17.16%의 표현 정확도를 달성하였으며, 이는 $ z $ 가 의미 있는 분리된 글로벌 정보를 캡처하고 있음을 확인한다.
• 결과적으로 아키텍처에 내장된 인도티브 비스만으로도 명시적 분리 손실 없이 효과적인 비지도 분리 표현 학습이 가능함을 보여준다.