[논문 리뷰] Comparison of Affine and Rational Quadratic Spline Coupling and Autoregressive Flows through Robust Statistical Tests

A. Coccaro, Marco Letizia외 2명|arXiv (Cornell University)|2023. 02. 23.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 4D에서 400D에 이르는 고차원 다모드 분포에서 아핀 및 분수차 다항 스퍼링 커플링과 순차적 흐름(RealNVP, MAF, C-RQS, A-RQS)을 철저하게 비교 연구한다. 강력한 이중표본 검정 통계량—절단 워샤르스타인 거리, 콜모고로프-스미르노프 검정, 상관계수 차이의 프로베니우스 노름—을 사용하여 A-RQS가 정확도와 학습 속도 면에서 다른 아키텍처를 꾸준히 능가함을 입증한다. 반면 C-RQS는 고차원에서 특히 불안정성과 높은 학습 비용을 겪는다.

ABSTRACT

Normalizing flows have emerged as a powerful brand of generative models, as they not only allow for efficient sampling of complicated target distributions but also deliver density estimation by construction. We propose here an in-depth comparison of coupling and autoregressive flows, both based on symmetric (affine) and non-symmetric (rational quadratic spline) bijectors, considering four different architectures: real-valued non-Volume preserving (RealNVP), masked autoregressive flow (MAF), coupling rational quadratic spline (C-RQS), and autoregressive rational quadratic spline (A-RQS). We focus on a set of multimodal target distributions of increasing dimensionality ranging from 4 to 400. The performances were compared by means of different test statistics for two-sample tests, built from known distance measures: the sliced Wasserstein distance, the dimension-averaged one-dimensional Kolmogorov--Smirnov test, and the Frobenius norm of the difference between correlation matrices. Furthermore, we included estimations of the variance of both the metrics and the trained models. Our results indicate that the A-RQS algorithm stands out both in terms of accuracy and training speed. Nonetheless, all the algorithms are generally able, without too much fine-tuning, to learn complicated distributions with limited training data and in a reasonable time of the order of hours on a Tesla A40 GPU. The only exception is the C-RQS, which takes significantly longer to train, does not always provide good accuracy, and becomes unstable for large dimensionalities. All algorithms were implemented using extsc{TensorFlow2} and extsc{TensorFlow Probability} and have been made available on \href{https://github.com/NF4HEP/NormalizingFlowsHD}{GitHub}.

연구 동기 및 목표

• 복잡한 고차원 다모드 목표 분포에서 네 가지 정규화 흐름 아키텍처(RealNVP, MAF, C-RQS, A-RQS)의 성능을 평가하고 비교하는 것.
• 증가하는 차원 수(4D에서 400D)에 걸쳐 비모수적 이중표본 검정 통계량을 사용하여 이러한 흐름의 강건성과 일반화 능력을 평가하는 것.
• 특히 소규모 데이터 환경과 고차원 설정에서 학습 효율성, 수렴 속도, 모델 안정성 분석하기.
• 특히 고에너지 물리학 및 밀도 추정 분야에서 과학적 머신러닝에 응용되는 정규화 흐름의 체계적 벤치마크 제공하기.

제안 방법

• RealNVP(아핀 커플링), MAF(순차적), C-RQS(분수차 다항 스퍼링 커플링), A-RQS(분수차 다항 스퍼링 순차적)의 네 가지 정규화 흐름 아키텍처를 사용한다.
• 강력한 이중표본 검정 통계량 세트를 사용: 절단 워샤르스타인 거리, 차원 평균 1차원 콜모고로프-스미르노프 검정, 상관계수 행렬 차이의 프로베니우스 노름.
• 학습 데이터가 제한적이고 하이퍼파rameter 조정을 최소화한 채로, 증가하는 차원 수(4에서 400)를 가진 합성 다변량 정규분포 혼합(CMoG) 분포에서 모델을 학습한다.
• 여러 랜덤 시드를 기반으로 학습 및 추론 시간, 손실 수렴, 메트릭의 분산 측정을 통해 안정성과 재현 가능성을 평가한다.
• 모든 모델을 텐서플로우 2와 텐서플로우 프로브레비티를 사용해 구현하였으며, 코드는 깃허브에 공개되어 있다.
• 여러 런에서 평균 및 절대 최고 성능 모델을 평가하여 성능 추세와 이상치를 구분한다.

Figure 1: Performance comparison between the average (left panel) and abslute (right panel) best models obtained with RealNVP, MAF, C-RQS, and A-RQS architectures when learning the CMoG distributions. The figures show the value of the test-statistic with its uncertainty, computed as explained in the

실험 결과

연구 질문

• RQ1 아핀 및 분수차 다항 스퍼링 기반 커플링 및 순차적 흐름은 고차원 다모드 분포를 학습하는 데 어떻게 비교되는가?
• RQ2 4D에서 400D까지의 차원에서 강력한 통계적 검정을 통해 목표 분포를 가장 정확하게 일치시키는 아키텍처는 무엇인가?
• RQ3 네 아키텍처 간에 학습 속도, 수렴 안정성, 정확도 사이의 상충 관계는 어떠한가?
• RQ4 C-RQS 아키텍처는 고차원 설정에서 성능과 안정성을 유지하는가, 아니면 수치적 문제와 느린 수렴으로 고통받는가?
• RQ5 이 흐름들은 하이퍼파rameter 조정을 최소화하고 제한된 학습 데이터로도 복잡한 고차원 분포로 잘 일반화되는가?

주요 결과

• 순차적 분수차 다항 스퍼링(A-RQS) 모델은 모든 차원에서 가장 우수한 전반적 성능을 보이며, 모든 차원에서 가장 낮은 검정 통계량 값을 제공하여 목표 분포 일치도가 뛰어나다.
• A-RQS는 C-RQS보다 훨씬 더 빠른 학습 속도를 보이며, 400D에서도 10,000초 이내로 학습이 가능하지만, C-RQS는 400D에서 70,000초 이상 소요되어 확장성에 빈도가 떨어진다.
• C-RQS는 고차원 설정(≥200D)에서 불안정성과 낮은 수렴 성능을 보였으며, 높은 분산과 목표 분포 일치 실패 빈도가 높았다. 이는 분수차 다항 스퍼링을 사용함에도 불구하고 그렇다.
• MAF와 RealNVP는 합리적인 성능을 보였지만, 특히 100D 이상에서 A-RQS에 비해 정확도와 속도 면에서 열등했다.
• 최소한의 하이퍼파rameter 조정으로도 모든 모델이 테슬라 A40 GPU에서 몇 시간 내에 복잡한 분포를 학습하여, 낮은 데이터 요구량에서도 강력한 일반화 능력을 보였다.
• 400D에서 A-RQS는 절단 워샤르스타인 거리 $3.3 \times 10^{-1}$ (평균), 콜모고로프-스미르노프 검정 $p$-값 $1.2 \times 10^{-1}$, 프로베니우스 노름 $2.7 \times 10^{-1​}$을 기록하여 목표 분포에 뛰어난 충실도를 보였다.

Figure 2: Visual representation of the 1D and 2D marginal distributions for $25$ randomly chosen dimensions of the $N=100$ dimensional CMoG distribution obtained with $10^{5}$ points. Red and blue curves and points represent the test samples and the NF-generated samples obtained with the A-RQS best