[논문 리뷰] Gaussianization Flows

Chenlin Meng, Song Yang외 2명|arXiv (Cornell University)|2020. 03. 04.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 7

한 줄 요약

이 논문은 유연한 반복적 가우시안화를 통해 학습 가능한 반복적 가우시안화를 구현하고, 미분 가능한 혼합 로지스틱 CDF를 활용하여 효율적인 우도 계산과 빠르고 정확한 역변환을 가능하게 하는 정규화 플로 모델인 가우시안화 플로우(Gaussianization Flows, GF)를 소개한다. GF는 연속 분포에 대한 유니버설 추정기이며, 특히 데이터 부족 상황과 분포 이탈 상황에서 Real NVP, Glow, FFJORD, MAF보다 더 뛰어난 내성성과 일반화 성능을 보이며, 표본 수가 적은 경우나 분포가 변할 경우에도 뛰어난 성능을 발휘한다.

ABSTRACT

Iterative Gaussianization is a fixed-point iteration procedure that can transform any continuous random vector into a Gaussian one. Based on iterative Gaussianization, we propose a new type of normalizing flow model that enables both efficient computation of likelihoods and efficient inversion for sample generation. We demonstrate that these models, named Gaussianization flows, are universal approximators for continuous probability distributions under some regularity conditions. Because of this guaranteed expressivity, they can capture multimodal target distributions without compromising the efficiency of sample generation. Experimentally, we show that Gaussianization flows achieve better or comparable performance on several tabular datasets compared to other efficiently invertible flow models such as Real NVP, Glow and FFJORD. In particular, Gaussianization flows are easier to initialize, demonstrate better robustness with respect to different transformations of the training data, and generalize better on small training sets.

연구 동기 및 목표

• 효율적인 우도 계산과 정확하고 빠른 샘플 생성을 동시에 가능하게 하는 정규화 플로 모델을 개발하기 위해.
• 기존 플로 모델의 표현력, 초기화, 데이터 재매개변수화에 대한 내성성에 대한 한계를 해결하기 위해.
• 반복적 가우시안화를 이론적 기초로 삼아, 유니버설 추정 성질을 갖는 접근 가능하고 학습 가능한 플로 아키텍처를 구축하기 위해.
• 특히 데이터 정규화가 불안정한 상황에서 데이터가 적거나 분포가 이탈하는 경우의 일반화와 내성성을 향상시키기 위해.

제안 방법

• 고정된 선형 매핑 대신 학습 가능한 매개변수를 가진 스택드 하우스홀더 변환을 사용하여 반복적 가우시안화를 매개변수화한다.
• 미분 가능한 혼합 로지스틱 분포를 사용해 근사 가우시안화 단계를 모델링함으로써, 닫힌 형태의 자코비안 행렬식 계산을 가능하게 한다.
• 선형(Householder) 및 원소별 비선형(CDF 역변환) 변환을 조합한 가우시안화 모듈을 구성하며, 이는 모두 역행 가능하고 미분 가능하다.
• 여러 개의 가우시안화 모듈을 스택하여, 우도 계산이 용이하고 역변환을 백프로파게이션을 통해 효율적으로 수행할 수 있는 깊은 플로 아키텍처를 구성한다.
• 혼합 로지스틱 성분의 초기화에 로지스틱 커널을 사용한 커널 밀도 추정을 적용하여, 학습 안정성과 내성성을 향상시킨다.
• 변수 변화 공식을 사용해 최대 우도 기반으로 전체 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 반복적 가우시안화를 기반으로 한 플로 모델이 효율적인 우도 평가와 정확하고 빠른 역변환을 동시에 달성할 수 있는가?
• RQ2 제안된 가우시안화 플로 아키텍처는 규칙성 조건 하에 연속 확률 분포에 대해 유니버설 추정기인가?
• RQ3 기존 정규화 플로 모델 대비 낮은 데이터 환경에서 모델의 성능은 어떠한가?
• RQ4 표준 정규화 가정을 위반하는 삼차 또는 애파인 변환과 같은 데이터 재매개변수화에 대해 모델은 얼마나 내성적인가?
• RQ5 학습 데이터가 부족하거나 분포가 이탈할 경우 모델의 일반화 능력은 얼마나 우수한가?

주요 결과

• GF는 표본 수가 적은 데이터셋에서 최고 또는 경쟁력 있는 음의 로그우도를 달성하며, MINiboone에서는 테스트 손실이 -4.41 nats, GAS에서는 47.69 nats를 기록하여, 많은 설정에서 Real NVP, Glow, FFJORD를 앞서는 성능을 보였다.
• GF는 작은 학습 세트에서도 뛰어난 일반화 성능을 보이며, 특히 HEPMASS와 MINiboone에서 500개의 샘플만으로 학습할 경우 FFJORD와 NAF를 크게 앞서는 성능을 보였다.
• GF는 cubic 및 affine 변환과 같은 다양한 데이터 변환에서도 안정적인 성능을 유지하지만, MAF-DDSF는 NaN을 생성하고 FFJORD는 수렴 문제를 보였다.
• 모델는 다양한 변환과 데이터셋에서 일관된 성능을 보이며, 다른 모델들인 Real NVP, Glow, MAF와 달리 특정 변환 환경에서 실패하지 않아 더 뛰어난 내성성을 확보했다.
• 혼합 로지스틱 초기화에 커널 밀도 추정을 활용함으로써 GF는 초기화가 더 쉬워졌으며, 학습 안정성과 데이터 재매개변수화에 대한 적응력이 향상되었다.
• 이론적 분석을 통해 GF는 미약한 규칙성 조건 하에 연속 분포에 대한 유니버설 추정기임을 확인하였으며, 이는 반복적 가우시안화와의 연결 덕분이었다.