[논문 리뷰] FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models

Will Grathwohl, Ricky T. Q. Chen외 3명|arXiv (Cornell University)|2018. 10. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 137

한 줄 요약

FFJORD는 제한 없이 구성 가능한 신경망과 편향 없는 Hutchinson 트레이스 추정기를 사용해 로그 가능도를 계산하는 연속-시간 가역 생성 모델을 제시하여, 확장 가능한 밀도 추정과 한 번의 샘플링으로 정확한 가능도 계산을 가능하게 한다.

ABSTRACT

A promising class of generative models maps points from a simple distribution to a complex distribution through an invertible neural network. Likelihood-based training of these models requires restricting their architectures to allow cheap computation of Jacobian determinants. Alternatively, the Jacobian trace can be used if the transformation is specified by an ordinary differential equation. In this paper, we use Hutchinson's trace estimator to give a scalable unbiased estimate of the log-density. The result is a continuous-time invertible generative model with unbiased density estimation and one-pass sampling, while allowing unrestricted neural network architectures. We demonstrate our approach on high-dimensional density estimation, image generation, and variational inference, achieving the state-of-the-art among exact likelihood methods with efficient sampling.

연구 동기 및 목표

• 제약적인 아키텍처 제약을 피하는 가역적 생성 모델을 통한 확장 가능 밀도 추정의 동기를 제시한다.
• 편향 없는 로그 밀도 추정을 갖춘 연속 시간 정규화 흐름(CNF) 프레임워크를 소개한다.
• 야코비안 행렬식의 비용을 선형 시간 추정으로 줄여 매우 표현력이 높은 신경망의 학습을 가능하게 한다.
• 밀도 추정 및 변분 추론 작업에서 정확 가능도 방법들 가운데 선도적 성능을 입증한다.

제안 방법

• 데이터 변환을 기저 분포에서 시작하여 z(t0)에서 z(t1) = x가 되도록 하는 연속 시간 동역학으로 정의한다.
• 일시적 변수 변화를 이용한다: log p(z(t1)) = log p(z(t0)) - ∫ Tr(∂f/∂z) dt.
• 해를 해결할 때마다 고정된 잡음 벡터를 사용한 Hutchinson의 트레이스 추정기로 Tr(∂f/∂z)를 편향 없이 계산한다.
• 연속 동역학을 통한 역전파를 효율적으로 수행하기 위해 adjoint 방법을 사용하여 ODE를 통해 밀도를 전파한다.
• 제한 없는 아키텍처로 모델을 학습하고 평가하기 위해 GPU-가속 적응형 ODE 해석기를 활용한다.
• 병목 현상(가장 낮은 숨은 차원)을 통한 분산 감소 및 ODE 해석기 선택에 대한 실제적 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 제한 없이 구성된 신경망 아키텍처에서 연속 시간 가역 생성 모델이 정확한 log-likelihood를 달성할 수 있는가?
• RQ2 Hutchinson의 트레이스 추정기가 고차원 데이터에 적합한 편향 없는(무편향)이고 확장 가능한 로그 밀도 추정치를 제공하는가?
• RQ3 밀도 추정 및 변분 추론 작업에서 FFJORD가 기존의 정규화 흐름(normalizing flows) 및 자기회귀 모델과 어떻게 비교되는가?
• RQ4 FFJORD 학습에서 어떤 실용적 트레이드오프가 발생하는가(예: 함수 평가 수, 병목 효과, 해석기 선택 등)?

주요 결과

• FFJORD는 차원에 비례한 선형 시간 복잡도로 편향 없는 로그 밀도 추정을 달성하여 제한 없는 아키텍처를 가능하게 한다.
• 2D 토이 데이터에서 FFJORD는 다모드(multi-modal) 및 불연속 밀도를 모델링하여 일부 이전 흐름들이 다루기 어려운 것을 보여준다.
• FFJORD는 표 형식 데이터의 밀도 추정에서 정확 가능도 모델 중에서 경쟁력 있는 또는 최첨단 성능을 달성하고, MNIST/CIFAR10에서 Glow/Real NVP와 동일한 성능을 훨씬 적은 파라미터 수로 달성한다.
• 변분 오토인코더에서 FFJORD 기반 흐름은 여러 데이터셋에서 여러 경쟁적 정규화 흐름들을 능가한다.
• 해석기 기반 접근 방식은 고차원 데이터로 확장되지만 학습 및 데이터 복잡도와 함께 함수 평가 값의 수가 증가할 수 있다.