[논문 리뷰] FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models

Will Grathwohl, Ricky T. Q. Chen외 3명|arXiv (Cornell University)|2018. 10. 02.

Cellular Automata and Applications인용 수 320

한 줄 요약

FFJORD는 Hutchinson의 추적 추정기를 사용한 편향되지 않은 로그-밀도 추정을 갖춘 연속 시간 가역 생성 모델을 도입하여 제한 없는 신경망 아키텍처와 확장 가능한 샘플링을 가능하게 한다.

ABSTRACT

A promising class of generative models maps points from a simple distribution to a complex distribution through an invertible neural network. Likelihood-based training of these models requires restricting their architectures to allow cheap computation of Jacobian determinants. Alternatively, the Jacobian trace can be used if the transformation is specified by an ordinary differential equation. In this paper, we use Hutchinson's trace estimator to give a scalable unbiased estimate of the log-density. The result is a continuous-time invertible generative model with unbiased density estimation and one-pass sampling, while allowing unrestricted neural network architectures. We demonstrate our approach on high-dimensional density estimation, image generation, and variational inference, achieving the state-of-the-art among exact likelihood methods with efficient sampling.

연구 동기 및 목표

• 제한 있는 아키텍처 제약 없이도 정확한 가능도에 대한 필요성에 의해 동기가 부여된다.
• 제한 없는 신경망과 함께 작동하는 확장 가능한 로그-밀도 추정기를 개발한다.
• 연속 시간 다이나다믹스를 활용해 이산적 레이어를 대체하고 효율적인 샘플링 및 밀도 평가를 가능하게 한다.
• 밀도 추정, 이미지 생성 및 변분 추론에서의 효과를 시연한다.

제안 방법

• 데이터를 z'(t)=f(z(t),t;θ)로 표현되는 연속 시간 가역 다이나믹스로 변환하는 모델링.
• 순간적 변화의 법칙을 사용: log p(z(t1))=log p(z(t0))−∫ Tr(∂f/∂z) dt.
• Tr(∂f/∂z)를 Hutchinson의 추적 추정기로 편향되지 않게 추정: Tr(A)=E[ε^T A ε].
• 상태와 로그-밀도를 보조(augmented) ODE로 함께 풀하고 역전파를 위한 adjoint 방법으로 로그-가능도를 계산.
• O(D) 추적 추정 비용을 달성하고 제한 없는 아키텍처를 허용하며 GPU 가속 솔버로 ODE를 풉니다.

실험 결과

연구 질문

• RQ1 연속 시간 가역 다이내믹스가 제한 없는 신경망 아키텍처로 정확한 로그-가능도를 제공할 수 있는가?
• RQ2 Hutchinson 추적 추정기가 데이터 차원에서 선형 시간에 편향되지 않은 로그-밀도 추정을 가능하게 하는가?
• RQ3 FFJORD가 제한된 정규화 흐름과 비교했을 때 고차원 밀도 추정 및 이미지 생성에서 어떤 성능을 보이는가?
• RQ4 FFJORD를 사용하는 훈련 속도, 메모리 및 함수 평가에서의 트레이드오프는 무엇인가?

주요 결과

데이터셋	Real NVP	Glow	FFJORD	MADE	MAF	TAN	MAF-DDSF	참고사항? (있다면)
POWER	-0.17	-0.17	-0.46	3.08	-0.24	-0.48	-0.62	-
GAS	-8.33	-8.15	-8.59	-3.56	-10.08	-11.19	-11.96	-
HEPMASS	18.71	18.92	14.92	20.98	17.70	15.12	15.09	-
MINIBOONE	13.55	11.35	10.43	15.59	11.75	11.01	8.86	-
BSDS300	-153.28	-155.07	-157.40	-148.85	-155.69	-157.03	-157.73	-
MNIST	1.06*	1.05*	0.99* (1.05 †)	2.04	1.89	-	-	(multi-scale)
CIFAR10	-	3.40*	3.40*	-	-	-	-	-

• FFJORD는 O(D) 비용으로 편향 없는 로그-밀도 추정을 달성하여 제한 없는 아키텍처를 가능하게 한다.
• 밀도 추정에서 FFJORD는 다른 가역적 흐름보다 우수하며 표 형 데이터에서 특정 autoregressive 방법과 동등하거나 우수하고 일부 이미지 작업에서 더 적은 매개변수를 사용한다.
• FFJORD는 일부 이산-플로우 모델이 다루기 어려운 분리된 모드와 다모달 밀도를 모델링할 수 있다.
• 병목 아키텍처는 추적 추정기의 분산을 줄이고 특정 추적 추정 방식에서 훈련 속도를 높일 수 있다.
• ODE 솔버 평가 횟수는 고정되지 않으며 훈련과 함께 증가하는 경향이 있지만 데이터 차원 D와는 거의 무관하다.