[논문 리뷰] On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows

Felix Draxler, Stefan Wahl외 2명|arXiv (Cornell University)|2024. 02. 09.

Simulation Techniques and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 유한한 조건수를 가진 네트워크나 체적 보존 흐름에 의존하지 않는 새로운 이론적 프레임워크를 수립하여, 애핀 커플링 기반 정규화 흐름이 확률 분포에 대한 보편적 근사자임을 증명한다. 저자들은 수렴이 보장되는 계층별로 단계를 거쳐 학습하는 구성적 접근법을 제안하여, 표현력 있는 커플링 함수가 병목 현상 없이 효율적이고 실용적인 보편성 달성을 가능하게 함을 보여준다.

ABSTRACT

We present a novel theoretical framework for understanding the expressive power of normalizing flows. Despite their prevalence in scientific applications, a comprehensive understanding of flows remains elusive due to their restricted architectures. Existing theorems fall short as they require the use of arbitrarily ill-conditioned neural networks, limiting practical applicability. We propose a distributional universality theorem for well-conditioned coupling-based normalizing flows such as RealNVP. In addition, we show that volume-preserving normalizing flows are not universal, what distribution they learn instead, and how to fix their expressivity. Our results support the general wisdom that affine and related couplings are expressive and in general outperform volume-preserving flows, bridging a gap between empirical results and theoretical understanding.

연구 동기 및 목표

• 커플링 기반 정규화 흐름의 경험적 성공과 이론적 이해 사이의 격차를 해소하기 위해.
• 기존 보편성 정리에서 기인한 유한한 조건수를 가진 신경망에 의존하는 근본적인 제약을 규명하고 해결하기 위해.
• KL 발산 기준으로 볼 때 체적 보존 흐름이 보편적 근사자임이 아니라는 것을 입증하기 위해.
• 계층별 순차 학습을 통해 구성적인 실용적 보편성 증명을 제공하기 위해.
• 효율적인 분포 근사 달성을 위한 표현력 있는 커플링 함수의 역할을 명확히 하여 설계 지침을 제시하기 위해.

제안 방법

• 목표 분포로의 수렴을 보장하는 순차적 계층 학습을 통해 커플링 기반 정규화 흐름에 대한 구성적 보편성 증명을 제안한다.
• 애핀 커플링 블록을 사용하여 잠재 분포를 회전시키고, 학습된 스케일 및 시프트 파라미터를 통해 활성 차원을 평균 0, 분산 1로 변환한다.
• 구간화된 데이터로부터 조건부 평균과 표준편차를 추정하기 위해 세차 다항 보간을 활용하여 커플링 함수의 매개변수화를 부드럽게 한다.
• 정규화된 지도를 통해 단계별로 수렴을 안정화하고 유한한 데이터에서 발생하는 아티팩트를 줄이기 위해 단계 크기 제약을 도입한다.
• 순차적 계층 최적화 중 과적합을 방지하기 위해 반복적으로 학습 데이터를 재표본 추출한다.
• 체적 보존 흐름(상수 자코비안 행렬식)과 변수 자코비안 흐름을 비교하여 체적 보존이 표현력에 미치는 영향을 분리 분석한다.

Figure 1: Our universality proof constructs a normalizing flow by iteratively adding affine coupling blocks. We illustrate this by constructing such a flow from real data. Each block first rotates the distribution $p_{n-1}(z)$ from the previous step (first column) , then applies an affine coupling l

실험 결과

연구 질문

• RQ1 기존의 보편성 정리에서 기인한 유한한 조건수를 가진 네트워크에 의존하지 않고, 커플링 기반 정규화 흐름이 확률 분포를 보편적으로 근사할 수 있는가?
• RQ2 기존의 커플링 흐름 보편성 정리에서 체적 보존 성질이 암묵적으로 내재되어 있으며, 이는 실용적 적용에 제한을 둔다. 이것이 사실인가?
• RQ3 구성적이고 계층별로 순차 학습하는 절차가 실질적으로 목표 분포로 수렴하는가?
• RQ4 커플링 함수의 표현력은 좋은 분포 근사에 필요한 계층 수에 어떤 영향을 미치는가?
• RQ5 자코비안 행렬식의 변동성이 정규화 흐름의 표현력에 어떤 역할을 하는가?

주요 결과

• KL 발산 기준으로 볼 때 체적 보존 정규화 흐름은 보편적 근사자로 기능하지 않으며, 이는 이론적 주장에도 불구하고 실용적 분포 학습에의 적용을 무효화한다.
• 기존의 커플링 흐름 보편성 정리에서 암묵적으로 체적 보존 변환을 구성하고 있으며, 이는 제한된 표현력으로 인해 실용적 적용에 제약을 둔다.
• 제안된 계층별 순차 학습 방법은 목표 분포로 수렴하는 정규화 흐름을 구성한다. 이는 100개의 계층을 사용한 고리 모양의 데이터 분포에서 입증되었다.
• 회전과 애핀 커플링을 반복적으로 적용함으로써 손실을 점진적으로 감소시키며, 최종적으로 잠재 분포가 표준 정규분포로 수렴함을 확인하여 정확한 밀도 추정과 샘플링을 달성한다.
• 변수 자코비안 행렬식을 가진 흐름이 체적 보존 흐름보다 우수한 성능을 보이며, 이는 표현력에 있어 비체적 보존 변환이 필수적임을 확인한다.
• 이론적 및 실증적 결과는 애핀 커플링 블록이 특히 커플링 함수의 표현력이 충분히 높을 경우 정규화 흐름의 강력한 기초가 된다고 검증한다.

Figure 2: A normalizing flow with constant Jacobian determinant is not able to model a simple bimodal mixture (first vs second row) : The modeled density in both modes is almost identical despite their different weight in the ground truth. Also, the volume-preserving flow really has only one maximum