[논문 리뷰] SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows

Didrik Nielsen, Priyank Jaini외 3명|arXiv (Cornell University)|2020. 07. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 26

한 줄 요약

SurVAE 플로우는 변환 가능성이 없는 확률적 모델인 변분 오토인코더(VAE)와 가역적이고 역행이 가능한 정규화 플로우를 연결하는 통합적이고 모odu러한 프레임워크를 제안한다. 이는 전행성 변환(deterministic forward maps)과 확률적 역행성 변환(stochastic inverses)을 사용하며, 정확한 우도 계산이 가능하면서도 차원 수 변화, 이산 데이터, 복잡한 구조를 지원한다. 이 방법은 최대 풀링, 정렬, 확률적 순열과 같은 조합 가능한 레이어를 가능하게 하여, 정확한 우도를 유지하면서도 이미지 및 포인트 클라우드 생성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Normalizing flows and variational autoencoders are powerful generative models that can represent complicated density functions. However, they both impose constraints on the models: Normalizing flows use bijective transformations to model densities whereas VAEs learn stochastic transformations that are non-invertible and thus typically do not provide tractable estimates of the marginal likelihood. In this paper, we introduce SurVAE Flows: A modular framework of composable transformations that encompasses VAEs and normalizing flows. SurVAE Flows bridge the gap between normalizing flows and VAEs with surjective transformations, wherein the transformations are deterministic in one direction -- thereby allowing exact likelihood computation, and stochastic in the reverse direction -- hence providing a lower bound on the corresponding likelihood. We show that several recently proposed methods, including dequantization and augmented normalizing flows, can be expressed as SurVAE Flows. Finally, we introduce common operations such as the max value, the absolute value, sorting and stochastic permutation as composable layers in SurVAE Flows.

연구 동기 및 목표

• 정규화 플로우의 정확한 우도와 VAE의 유연성 간의 강점을 통합하기 위해, 정확한 우도 추정과 유연한 아키텍처 설계를 지원하는 조합 가능한 프레임워크를 도입하는 것.
• 기존 모델의 한계, 즉 이산 데이터 처리 불가, 연결되지 않은 구성요소, 차원 수 변화 처리 불가 문제를 해결하면서도, 우도 계산이 간편한 모델을 유지하는 것.
• 변환 요소들이 조합 가능한 모듈러 소프트웨어 프레임워크를 제공하여, 명확한 전방, 역행, 우도 로그 계산 컴ponent를 갖추는 것.
• 최근 특화된 모델들(예: 디퀀타이제이션, 확장된 플로우)이 SurVAE 플로우의 특수한 경우로 표현될 수 있음을 보여주는 것.
• 최대값, 절대값, 정렬, 확률적 순열과 같은 새로운 조합 가능한 레이어를 도입하여 대칭성과 교환 가능 데이터를 모델링하는 것.

제안 방법

• VAE(확률적, 비가역적)와 정규화 플로우(쌍방향, 가역적) 사이의 다리 역할을 하는 전행성 변환을 도입하며, 전방 변환은 결정적이고 역행 변환은 확률적임을 정의한다.
• 세 가지 구성요소로 이루어진 모듈러 프레임워크를 정의: 전방 변환, 확률적 역행, 자코비안 행렬식과 조건부 엔트로피를 통한 로그 우도 계산.
• 최대 풀링, 절대값, 정렬, 확률적 순열과 같은 조합 가능한 레이어를 설계하며, 각각 명시적인 전방 및 확률적 역행 매핑을 갖춘다.
• 표현력 있는 플로우를 위해, 역행성 커파링 레이어와 1×1 컨볼루션을 기본 구조로 사용하며, 이를 딥 네트워크(예: DenseNets, 트랜스포머)로 파arameter화한다.
• 이산 이미지 데이터 처리와 우도 추정 향상을 위해 변분 디퀀타이제이션 및 스위칭 레이어를 구현한다.
• 스토캐스틱 그래디언트 하강법을 사용하여 최대 우도 기반 학습을 수행하며, 전방 경로에서의 정확한 로그 우도와 역행 경로에서의 변분 하한을 활용한다.

실험 결과

연구 질문

• RQ1 정규화 플로우의 정확한 우도와 VAE의 차원 수 변화 및 이산 데이터 처리 유연성을 통합한 조합 가능한 프레임워크를 설계할 수 있는가?
• RQ2 전행성 전방 매핑과 확률적 역행 매핑을 갖는 전행성 변환을 어떻게 정의할 수 있으며, 이를 통해 여전히 정확한 우도 계산이 가능한가?
• RQ3 최대 풀링, 정렬, 확률적 순열과 같은 일반적인 연산들이 확률적 플로우 프레임워크 내에서 미분 가능하고 조합 가능한 레이어로 형식화될 수 있는가?
• RQ4 기존의 특화된 모델들(예: 디퀀타이제이션, 확장된 플로우)이 이 새로운 SurVAE 플로우 프레임워크의 특수한 경우로 표현될 수 있는가?
• RQ5 SurVAE 플로우는 이미지 및 포인트 클라우드와 같은 복잡한 데이터에서 실용적으로 어떻게 성능을 발휘하는가? 특히 우도와 샘플 품질 측면에서 어떻게 되는가?

주요 결과

• SurVAE 플로우는 CIFAR-10, ImageNet 32×32, ImageNet 64×64 데이터셋에서 최신 기술 수준의 우도 성능을 달성하였으며, MaxPoolFlow 버전은 모든 벤치마크에서 베이스라인 플로우를 초월하였다.
• 최대 풀링 전행성 변환을 사용하는 MaxPoolFlow 모델은 정확한 우도 계산을 유지하면서도 차원 수 감소를 가능하게 하여 경쟁력 있는 우도 성능을 달성하였다.
• 절대값 및 정렬 레이어를 통해 SurVAE 플로우는 표준 정규화 플로우에서 직접 지원되지 않는 이산적이고 대칭적인 데이터 구조를 성공적으로 모델링하였다.
• 이 프레임워크는 다양한 모델을 통합한다: 디퀀타이제이션, 확장된 플로우, 확률적 순열 레이어는 모두 SurVAE 플로우 구성요소로 표현 가능하다.
• 실험 결과 SurVAE 플로우는 합성 데이터, 포인트 클라우드, 이미지 데이터에서 고품질 샘플을 생성하였으며, 뷰어 품질이 기존 모델과 비교해도 열등하지 않거나 더 뛰어났다.
• 오픈소스 코드를 통해 재현성과 모듈러 확장이 가능하며, 사전 학습된 모델과 다양한 아키텍처(예: 트랜스포머, DenseNets) 지원이 가능하다.