[논문 리뷰] VFlow: More Expressive Generative Flows with Variational Data Augmentation

Jianfei Chen, Cheng Lu외 3명|arXiv (Cornell University)|2020. 02. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 14

한 줄 요약

VFlow는 보조 잠재 변수를 통한 변동형 데이터 증강을 도입하여 생성적 플로우를 향상시켜, 상당한 계산 부담 없이도 더 표현력 있는 모델링을 가능하게 한다. 이미지 밀도 모델링에서 최신 기준 성능을 달성하며, CIFAR-10에서 2.98 bpd로 bits per dimension을 낮추었고, Glow와 Flow++과 같은 기존 플로우보다 뛰어나다.

ABSTRACT

Generative flows are promising tractable models for density modeling that define probabilistic distributions with invertible transformations. However, tractability imposes architectural constraints on generative flows, making them less expressive than other types of generative models. In this work, we study a previously overlooked constraint that all the intermediate representations must have the same dimensionality with the original data due to invertibility, limiting the width of the network. We tackle this constraint by augmenting the data with some extra dimensions and jointly learning a generative flow for augmented data as well as the distribution of augmented dimensions under a variational inference framework. Our approach, VFlow, is a generalization of generative flows and therefore always performs better. Combining with existing generative flows, VFlow achieves a new state-of-the-art 2.98 bits per dimension on the CIFAR-10 dataset and is more compact than previous models to reach similar modeling quality.

연구 동기 및 목표

• 생성적 플로우에서 깊이 있는 역행성 변환의 표현력이 복잡한 데이터 분포를 모델링하는 데 어려움을 겪는 문제를 해결하기 위해.
• 더 풍부한 모델링 능력을 가능하게 하기 위해 잠재 변수를 도입하여 정규화 플로우의 표현력을 향상시키기 위해.
• 유사한 가능성 추정이 가능하도록 플로우 프레임워크에 변동형 데이터 증강을 통합하기 위해.
• 최대우도 추정 하에서 VFlow가 기존 플로우보다 더 좋은 가능성 추정을 달성할 수 있다는 이론적 보장을 제공하기 위해.
• CIFAR-10과 같은 벤치마크 데이터셋에서의 밀도 모델링에서의 경험적 슈퍼리오리티를 입증하기 위해.

제안 방법

• 입력 데이터 𝐱와 보조 잠재 변수 𝐳를 함께 모델링하는 조건부 정규화 플로우를 도입하여, 공동 밀도 p(𝐱, 𝐳; θ_XZ)를 형성한다.
• 진정한 사후분포를 근사하기 위해 변동형 사후분포 q(𝐳|𝐱; ϕ)를 사용하며, 유사성 확보를 위해 다른 조건부 플로우로 구현한다.
• 증거 하한 경계(ELBO)를 목적함수로 사용한다: E[log p(𝐱,𝐳;θ_XZ) − log q(𝐳|𝐱;ϕ)], 이를 통해 엔드 투 엔드 학습이 가능하다.
• 역행성 플로우 블록(예: 애파인 커파링 레이어)을 유지하여 자명한 자코비안 행렬식과 정확한 가능성 계산이 가능하도록 한다.
• 공동 플로우를 역행성 변환의 연속으로 구성한다: (𝐱, 𝐳) → 𝐡₁ → … → 𝐞, 여기서 최종 잠재 변수 𝐞는 단순한 사전 분포를 따른다.
• 공동 및 변동형 구성 요소 간에 플로우 아키텍처를 공유하여 추가적인 파라미터와 계산을 최소화한다.

실험 결과

연구 질문

• RQ1 보조 잠재 변수를 도입함으로써 계산 비용 증가 없이도 정규화 플로우의 표현력을 향상시킬 수 있는가?
• RQ2 제안된 변동형 데이터 증강 프레임워크는 표준 정규화 플로우보다 더 나은 가능성 추정 성능을 보일 수 있는가?
• RQ3 Glow와 FFJORD와 같은 기존 플로우와 비교해 VFlow는 이미지 밀도 모델링에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 다양한 아키텍처와 깊이 설정에서 VFlow의 이론적 슈퍼리오리티가 실제로도 유지되는가?
• RQ5 데이터와 잠재 변수의 공동 모델링은 모델이 복잡한 데이터 분포를 포착하는 능력에 어떤 영향을 미치는가?

주요 결과

• VFlow는 CIFAR-10에서 2.98 bpd를 기록하여, Glow(3.35), FFJORD(3.40), Flow++(3.08)를 모두 능가한다.
• 단지 11.9M 파라미터와 10개의 플로우 단계만으로도 3.08 bpd를 달성하여 뛰어난 효율성과 성능을 입증한다.
• 이론적 분석을 통해 VFlow의 최대 ELBO는 어떤 기존 플로우의 최대 우도보다 항상 크거나 같다는 것을 증명한다.
• 모델 용량을 줄여도 VFlow는 16.5M 파라미터와 64개의 히든 채널만으로도 3.03 bpd를 달성하여 뛰어난 성능 유지를 보인다.
• 기존 플로우 아키텍처와 호환되며, Flow++ 및 Glow와 같은 모델에 원활하게 통합될 수 있다.
• 토이 데이터에 대한 경험적 결과는 VFlow가 표준 플로우보다 더 나은 복잡한 다모달 분포를 포착함을 보여준다.