[논문 리뷰] Normalizing Flows for Probabilistic Modeling and Inference

George Papamakarios, Eric Nalisnick외 3명|arXiv (Cornell University)|2019. 12. 05.

Gaussian Processes and Bayesian Inference참고 문헌 133인용 수 343

한 줄 요약

이 논문은 normalizing flows에 대한 포괄적 리뷰를 제공하며, 정의, 표현력, 설계 원칙을 상세히 다루고 확률 모델링, 추론 및 학습에서의 사용을 조사합니다.

ABSTRACT

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

연구 동기 및 목표

• 정규화 흐름의 설계를 확률 모델링 및 추론과 연결하여 통합적 관점을 제시한다.
• 플로우 기반 모델의 표현력을 특징지하고 계산적 트레이드오프를 분석한다.
• 플로우를 일반 확률 변환과 연결하고 구조화된 도메인으로의 확장에 대해 논의한다.
• 생성 모델링, 근사 추론, 감독 학습을 포함한 핵심 응용을 요약한다.

제안 방법

• 정규화 흐름을 기본 분포의 가역적이고 미분가능한 변환으로 정의하여 복잡한 밀도를 모델링한다.
• 변수 치환을 통한 밀도 계산과 야코비안 행렬식의 역할을 설명한다.
• 간단하고 해석 가능한 변환들을 합성하여 복잡한 흐름을 구축하는 것을 설명하고(유한 흐름) 순방향/역방향 패스 및 야코비언 누적에 대해 논의한다.
• 순방향 KL(최대우도) 및 역방향 KL 등 학습 목표를 포함하고 몬테카를로 그래디언트 추정기를 다룬다.
• 대체 발산들(f-발산, IPM)과 암시적 확률 모델 학습에 대한 시사점을 개략한다.
• x-공간과 u-공간 간의 변수 치환을 통해 순방향/역방향 KL 관점을 연결하고 핵심 등식(KL 동등성)을 제시한다.
• 역사적 개요를 제공하고 트랙터블한 야코비안에 중점을 두고 자기회귀, 평면형(planar), 스플라인 기반, 커플링 계층 등 흐름 구성 접근법을 분류한다.

실험 결과

연구 질문

• RQ1 대상 분포에 비해 흐름 기반 모델의 보편적 표현력을 보장하는 조건은 무엇인가?
• RQ2 샘플링 및 밀도 평가를 위해 매우 표현력이 높고 계산적으로 트랙터블한 흐름을 어떻게 구성할 수 있는가?
• RQ3 흐름의 맥락에서 서로 다른 학습 목표(순방향 KL, 역방향 KL, 기타 발산)가 어떻게 관련되는가?
• RQ4 흐름이 더 일반적인 확률 변환과 어떻게 연결되며 구조화된 도메인과 기하학으로의 확장성은 무엇인가?
• RQ5 생성 모델링, 근사 추론, 감독 학습에서 normalizing flows의 일반적 응용은 무엇인가?

주요 결과

• 정규화 흐름은 단순한 미분가능 변환들을 해석 가능한 야코비안을 갖도록 결합함으로써 대상 분포의 광범위한 범위를 표현할 수 있다.
• 밀도 평가와 샘플링은 흐름의 각 변환이 가역적이고 해석 가능한 야코비안에 의존한다.
• 순방향 KL(최대우도) 학습은 모델을 대상 샘플에 맞추고, 역방향 KL 학습은 기본 분포가 대상에 맞추어지도록 하며, 이 두 관점 사이의 형식적 동등성이 존재한다.
• 기본 분포의 밀도와 변환의 밀도가 함께 모델의 밀도를 결정하므로 대상의 일부가 계산 불가능하더라도 학습이 가능하다.
• 대체 발산들(f-발산 및 IPM)은 적대적 및 분산적 접근을 포함한 유연한 학습 옵션을 제공한다.
• x-space와 u-space에서의 학습 간의 등식 동등성은 흐름 최적화에 대한 통일된 시각을 제공하고 흐름을 암시적 확률 모델링과 연결한다.