[논문 리뷰] Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models

Chin-Wei Huang, Laurent Dinh외 1명|arXiv (Cornell University)|2020. 02. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 77인용 수 25

한 줄 요약

이 논문은 데이터 $x$와 독립적인 노이즈 $e$를 조합한 확장된 공간에서의 가역 변환을 학습함으로써 표현력을 향상시키는 생성 모델링 프레임워크인 증강 정규화 흐름(ANFs)을 소개한다. $x$와 $e$에 조건을 붙인 ANFs는 해밀턴 미분방정식을 통해 임의의 분포를 보편적으로 근사할 수 있으며, 효율적인 샘플링과 가능도 평가를 가능하게 하여 밀도 추정 및 이미지 생성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we propose a new family of generative flows on an augmented data space, with an aim to improve expressivity without drastically increasing the computational cost of sampling and evaluation of a lower bound on the likelihood. Theoretically, we prove the proposed flow can approximate a Hamiltonian ODE as a universal transport map. Empirically, we demonstrate state-of-the-art performance on standard benchmarks of flow-based generative modeling.

연구 동기 및 목표

• 순차적 결합 층을 통한 국소적 특징 의존성에 기반하는 표준 정규화 흐름의 제한된 전역 표현력 문제를 해결한다.
• 표준 흐름에서 디피오모피즘의 위상적 제약을 극복하기 위해 독립적인 노이즈를 포함한 증강된 잠재 공간을 도입한다.
• 데이터 및 보조 노이즈 변수에 조건을 붙임으로써 확률 질량의 보다 민첩하고 전역적인 일관성 있는 이동을 가능하게 한다.
• 원래 데이터의 주변 가능도에 대한 하한을 최대화하는 원리적인 파rameter 추정 방법—증강 최대우도추정(AMLE)—을 개발한다.
• ANFs가 보편적인 운반 맵 가족임을 이론적이고 실증적으로 검증하며, 해밀턴 미분방정식을 모방하고 표준 정규분포로 임의의 데이터 분포를 근사할 수 있음을 보여준다.

제안 방법

• 입력 데이터 $x$에 독립적인 노이즈 변수 $e$를 추가하여 더 넓은 잠재 공간 $(x, e)$를 구성함으로써 더 유연한 가역 변환을 가능하게 한다.
• 이중 단계 흐름을 설계한다: 먼저 $x$에 조건을 붙인 조건부로 $e$를 $z$로 변환하고, 그 다음 $z$에 조건을 붙인 조건부로 $x$를 $y$로 변환하여 공동 정규분포 $(y, z)$를 얻는다.
• 블록 기반 결합 층(다인 등, 2017)을 증강된 공간에 적용하여 야코비안 행렬식 계산의 계산 가능성을 유지한다.
• 직접 연합 공간 최적화를 피하기 위해 원래 데이터의 주변 가능도 $p(x)$에 대한 하한을 최대화하는 증강 최대우도추정(AMLE)을 제안한다.
• 이론적 분석을 통해 ANFs가 해밀턴 미분방정식을 운반 맵으로 모방함으로써 임의의 데이터 분포를 표준 정규분포로 보편적으로 근사할 수 있음을 보여준다. 이때 보조 변수는 특이성을 띤다.
• 신경망을 사용하여 흐름 구성 요소를 파rameter화하고, 잔차 연결과 정규화 흐름을 활용하여 가역성과 효율적인 야코비안 계산을 보장한다.

실험 결과

연구 질문

• RQ1 독립적인 노이즈로 입력 공간을 증강함으로써 계산 비용을 증가시키지 않고도 정규화 흐름의 표현력을 향상시킬 수 있는가?
• RQ2 표준 흐름이 디피오모피즘 제약으로 인해 제한을 받는 상황에서도 ANFs가 해밀턴 미분방정식을 통해 임의의 확률 분포를 보편적으로 근사할 수 있는가?
• RQ3 제안된 AMLE 프레임워크는 표준 정규화 흐름이나 VAE보다 주변 가능도에 대한 하한을 더 날카롭게 제공하는가?
• RQ4 ANFs는 효율적인 샘플링과 가능도 평가를 유지하면서도 밀도 추정 및 이미지 생성에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 증강된 공간을 사용함으로써 표준 흐름 기반 모델에 비해 더 전역적으로 일관된 변환을 어떻게 달성할 수 있는가?

주요 결과

• ANFs는 표준 밀도 추정 벤치마크에서 최신 기술 수준의 성능을 달성하며, 로그가능도 점수에서 이전의 정규화 흐름과 VAE를 모두 능가한다.
• 이론적 분석을 통해 덧셈 기반 결합 층을 갖는 ANFs는 해밀턴 미분방정식을 운반 맵으로 모방함으로써 임의의 확률 분포를 보편적으로 근사할 수 있음을 증명한다.
• 실증 결과로 흐름 수열이 진짜 운반 맵에 확률적으로 수렴하며, 층 수가 증가함에 따라 데이터 및 증강 변수 오차가 모두 0으로 수렴함을 보였다.
• 실증 결과로 ANFs는 CIFAR-10과 CelebA에서 뛰어난 이미지 생성 품질과 가능도를 달성하였으며, 최신 기술 수준의 모델들과 비교해도 경쟁력 있거나 더 낫다.
• AMLE는 $x$의 주변 가능도에 대한 하한을 최대화하는 유효하고 효과적인 학습 목표를 제공하며, 연합 분포의 명시적 모델링이 필요 없이 엔드 투 엔드 학습이 가능하다.
• 증강된 공간은 데이터 다양체의 더 민감하고 위상 구조를 유지하지 않는 변형을 가능하게 하여, 복잡한 고차원 의존성을 더 잘 모델링할 수 있다.