[논문 리뷰] Deep Diffeomorphic Normalizing Flows

Hadi Salman, Payman Yadollahpour외 2명|arXiv (Cornell University)|2018. 10. 08.

Model Reduction and Neural Networks참고 문헌 8인용 수 11

한 줄 요약

이 논문은 유체 역학에 영감을 받은 비틀림형 순환 신경망을 사용하여 사후 분포 근사를 모델링하는 새로운 정규화 플로 아키텍처인 딥 디피오모픽 정규화 플로(DDNF)를 제안한다. 잔차 RNN 블록을 통해 연속적인 디피오모픽 변환을 근사함으로써, DDNF는 민감도가 높고, 가역적이며, 미분 가능한 사후 추론을 가능하게 하며, MNIST와 CIFAR-10에서 기존 VAE, 평면형 플로, IAF보다 높은 로그우도 성능을 달성한다.

ABSTRACT

The Normalizing Flow (NF) models a general probability density by estimating an invertible transformation applied on samples drawn from a known distribution. We introduce a new type of NF, called Deep Diffeomorphic Normalizing Flow (DDNF). A diffeomorphic flow is an invertible function where both the function and its inverse are smooth. We construct the flow using an ordinary differential equation (ODE) governed by a time-varying smooth vector field. We use a neural network to parametrize the smooth vector field and a recursive neural network (RNN) for approximating the solution of the ODE. Each cell in the RNN is a residual network implementing one Euler integration step. The architecture of our flow enables efficient likelihood evaluation, straightforward flow inversion, and results in highly flexible density estimation. An end-to-end trained DDNF achieves competitive results with state-of-the-art methods on a suite of density estimation and variational inference tasks. Finally, our method brings concepts from Riemannian geometry that, we believe, can open a new research direction for neural density estimation.

연구 동기 및 목표

• 간단한 구조적 사후 분포를 더 유연하고 플로 기반의 분포로 대체함으로써 변분 추론에서 사후 근사를 향상시키는 것.
• 기존 정규화 플로의 한계—예를 들어 평면형 플로와 IAF 플로—를 해결하기 위해 점성 유체 운동에 영감을 받은 연속적이고 부드러운 변형을 모델링하는 것.
• 확장 가능한 사후 추정을 위해 가역성과 효율적인 자코비안 행렬식 계산을 유지하는 플로 아키텍처를 개발하는 것.
• RNN 기반의 디피오모픽 플로가 기존 방법보다 더 날카운 변분 경계와 더 나은 우도 추정치를 달성할 수 있음을 입증하는 것.

제안 방법

• 모델은 표준 정규 사전을 기반으로 하여 사후를 디피오모픽 변환으로 모델링하며, 연속 시간 플로를 근사하기 위해 잔차 RNN 아키텍처를 사용한다.
• 각 플로 단계는 속도 장을 통한 소규모 디피오모픽 변형으로 정의되며, 전체 변환은 이러한 소규모 단계들의 병합으로 계산된다.
• 자코비안의 로그행렬식은 테일러 전개를 사용하여 소규모 변형의 로그행렬식의 합으로 근사함으로써 효율적인 계산이 가능해진다.
• 디코더가 입력 데이터를 재구성하고 플로 기반 인코더가 복잡한 사후 구조를 학습하는 VAE 프레임워크 내에서 플로가 종단 간(end-to-end)으로 훈련된다.
• 수치적 안정성 향상과 정확한 가역성 확보를 위해 역방향 일致성(regularization)을 장려한다.
• 다중 정적 속도 장을 스택하여 비정적 속도 장을 구성함으로써 더 rich한 변형 역학을 가능하게 한다.

실험 결과

연구 질문

• RQ1 RNN 기반 아키텍처가 변분 추론에서 사후 근사를 위한 연속적인 디피오모픽 플로를 효과적으로 근사할 수 있는가?
• RQ2 RNN 블록의 수가 ODE 근사 정확도와 그에 따른 우도 성능에 어떤 영향을 미치는가?
• RQ3 유체 역학적 운동에 기반한 디피오모픽 플로가 평면형 또는 IAF 플로보다 더 복잡한 사후 구조를 더 잘 포착할 수 있는가?
• RQ4 역방향 일치 정규화가 학습된 플로의 안정성과 품질을 어느 정도 향상시키는가?
• RQ5 제안된 방법이 기존 정규화 플로 기반 모델 대비 표준 벤치마크인 MNIST와 CIFAR-10에서 더 나은 우도 성능을 달성하는가?

주요 결과

• 제안된 딥 디피오모픽 정규화 플로는 바닐라 VAE, 평면형 정규화 플로, IAF보다 MNIST와 CIFAR-10에서 유의미하게 낮은 음의 로그우도를 달성한다.
• RNN 블록 수를 늘일수록 ODE 근사에서의 L2 오차가 감소하며, 여덟 개의 블록에서 안정적인 성능 무릎점(knee point)을 보인다.
• 더 많은 RNN 블록을 사용할수록 역방향 오차가 감소하여, 더 작은 통합 단계가 수치 정확도와 플로의 가역성을 향상시킨다는 것이 확인된다.
• 모델은 더 나은 사후 유연성을 보이며, 더 날카운 변분 경계와 더 나은 생성 성능을 달성한다.
• 역방향 일치 정규화를 사용함으로써 더 안정적이고 정확한 플로 역방향 계산이 가능해져 훈련 안정성이 향상된다.
• 벤치마크 데이터셋에서의 뛰어난 우도 점수로 복잡한 사후 분포를 효과적으로 모델링함을 입증한다.