[논문 리뷰] Universal Approximation for Log-concave Distributions using Well-conditioned Normalizing Flows

Holden Lee, Chirag Pabbaraju외 2명|arXiv (Cornell University)|2021. 07. 06.

Image and Signal Denoising Methods참고 문헌 30인용 수 10

한 줄 요약

이 논문은 입력 데이터에 독립적인 가우시안 분포를 추가함으로써, 임의의 로그-볼록 분포가 잘 조절된 애파인-커플링 정규화 흐름에 의해 보편적으로 근사가 가능하다는 것을 입증한다. 이는 정규화 흐름 표현 이론에서 핵심적인 이론적 격차를 해결한다. 저자들은 애파인-커플링을 과다 감쇠되지 않은 랑주뱅 동역학과 헤논 유사 맵과 연결하여, 학습 과정에서 가우시안 패딩이 성공을 거두는 데 이론적 근거를 제공한다.

ABSTRACT

Normalizing flows are a widely used class of latent-variable generative models with a tractable likelihood. Affine-coupling (Dinh et al, 2014-16) models are a particularly common type of normalizing flows, for which the Jacobian of the latent-to-observable-variable transformation is triangular, allowing the likelihood to be computed in linear time. Despite the widespread usage of affine couplings, the special structure of the architecture makes understanding their representational power challenging. The question of universal approximation was only recently resolved by three parallel papers (Huang et al.,2020;Zhang et al.,2020;Koehler et al.,2020) -- who showed reasonably regular distributions can be approximated arbitrarily well using affine couplings -- albeit with networks with a nearly-singular Jacobian. As ill-conditioned Jacobians are an obstacle for likelihood-based training, the fundamental question remains: which distributions can be approximated using well-conditioned affine coupling flows? In this paper, we show that any log-concave distribution can be approximated using well-conditioned affine-coupling flows. In terms of proof techniques, we uncover and leverage deep connections between affine coupling architectures, underdamped Langevin dynamics (a stochastic differential equation often used to sample from Gibbs measures) and H\\'enon maps (a structured dynamical system that appears in the study of symplectic diffeomorphisms). Our results also inform the practice of training affine couplings: we approximate a padded version of the input distribution with iid Gaussians -- a strategy which Koehler et al.(2020) empirically observed to result in better-conditioned flows, but had hitherto no theoretical grounding. Our proof can thus be seen as providing theoretical evidence for the benefits of Gaussian padding when training normalizing flows.

연구 동기 및 목표

• 잘 조절된 애파인-커플링 정규화 흐름이 잘 조절된 분포를 보편적으로 근사할 수 있는지 여부를 해결하기 위해.
• 학습 과정에서 가우시안 패딩이 제로 패딩이나 패딩 없이 사용하는 것보다 안정적인 정규화 흐름을 생성하는 데 있어 이론적 근거를 제공하기 위해.
• 실제로 자주 사용되는 로그-볼록 분포가 잘 조절된 흐름을 통해 근사가 가능하다는 것을 입증하기 위해.
• 애파인-커플링 아키텍처, 과다 감쇠되지 않은 랑주뱅 동역학, 헤논 유사 동역학계 사이의 깊은 수학적 연결 고리를 밝혀내기 위해.

제안 방법

• 애파인-커플링 흐름과 과다 감쇠되지 않은 랑주뱅 동역학 간의 연결 고리를 활용한다. 이는 길리스 측도의 샘플링에 사용되는 확률적 미분 방정식이다.
• 흐름을 결정론적 동역학계의 소실된 항으로 간주하고, ODE 흐름 맵과 변분 방정식을 통한 민감도 분석을 수행한다.
• 작은 편향에 대한 오차 전파를 제한하기 위해 그론발레의 부등식을 적용하여 안정성과 잘 조절된 성질을 보장한다.
• 흐름 맵의 페르투르베이션 전개를 통해 진짜 흐름과 근사 흐름 간의 차이가 $O(\epsilon^2)$임을 보여주며, 높은 정확도를 확보한다.
• 원본 데이터에 독립적인 가우시안을 추가하여 입력을 패딩하는 분포를 도입함으로써, 잘 조절된 야코비안을 가능하게 한다.
• 비선형성의 크기가 제어되는 ODE 시스템에 의해 지배되는 시간에 따라 변화하는 변환으로서의 흐름 역학을 궤적 기반으로 분석한다.

실험 결과

연구 질문

• RQ1 잘 조절된 애파인-커플링 흐름이 로그-볼록 분포를 보편적으로 근사할 수 있는가?
• RQ2 왜 가우시안 패딩이 정규화 흐름 학습의 안정성을 향상시키는가? 이에 대한 이론적 근거는 무엇인가?
• RQ3 애파인-커플링 흐름, 과다 감쇠되지 않은 랑주뱅 동역학, 헤논 유사 맵 사이에 어떤 수학적 연결 고리가 존재하는가?
• RQ4 부드럽고 잘 조절된 분포에 대해서도, 악조건의 야코비안 없이 보편적 근사를 달성할 수 있는가?

주요 결과

• 입력에 독립적인 가우시안 분포를 추가함으로써, $\mathbb{R}^d$ 내의 임의의 로그-볼록 분포는 잘 조절된 야코비안을 가진 애파인-커플링 흐름에 의해 임의로 정밀하게 근사가 가능하다.
• 진짜 흐름과 편향된 흐름 간의 근사 오차는 컴acts한 시간 간격에서 $C^r$ 위상에서 $O(\epsilon^2)$이다. 이는 높은 정확도를 보장한다.
• 목표 분포의 부드러움에 관계없이 야코비안 조건 수가 유계임을 입증하여, 이전의 보편적 근사 결과에서의 핵심적 한계를 해결한다.
• 이론적 분석을 통해 가우시안 패딩이 제로 패딩이나 패딩 없이 사용하는 것보다 더 잘 조절된 흐름을 생성함을 확인하여, 그 실험적 성공을 설명한다.
• 애파인-커플링 흐름, 과다 감쇠되지 않은 랑주뱅 동역학, 헤논 유사 동역학계 사이에 깊은 연결 고리가 존재함을 입증하며, 통합된 동역학계 시스템 관점의 통찰을 제공한다.