[논문 리뷰] Implicit Normalizing Flows

Cheng Lu, Jianfei Chen외 3명|arXiv (Cornell University)|2021. 03. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 5

한 줄 요약

이 논문은 잠재적 정규화 흐름(ImpFlows)을 소개한다. ImpFlows는 $F(\mathbf{z}, \mathbf{x}) = \mathbf{0}$ 형태의 근을 구하는 방정식을 통해 역행성 변환을 암묵적으로 정의하는 일반화된 정규화 흐름으로, ResFlows보다 더 풍부한 표현 능력을 지닌다. ImpFlows는 파arameter 수와 계산 비용이 유사한 조건에서 밀도 모델링 및 분류 벤치마크에서 최신 기준 성능을 달성하며, ResFlows가 비노실한 오차로 근사하는 함수를 정확히 모델링함으로써 ResFlows를 초월한다.

ABSTRACT

Normalizing flows define a probability distribution by an explicit invertible transformation $\boldsymbol{\mathbf{z}}=f(\boldsymbol{\mathbf{x}})$. In this work, we present implicit normalizing flows (ImpFlows), which generalize normalizing flows by allowing the mapping to be implicitly defined by the roots of an equation $F(\boldsymbol{\mathbf{z}}, \boldsymbol{\mathbf{x}})= \boldsymbol{\mathbf{0}}$. ImpFlows build on residual flows (ResFlows) with a proper balance between expressiveness and tractability. Through theoretical analysis, we show that the function space of ImpFlow is strictly richer than that of ResFlows. Furthermore, for any ResFlow with a fixed number of blocks, there exists some function that ResFlow has a non-negligible approximation error. However, the function is exactly representable by a single-block ImpFlow. We propose a scalable algorithm to train and draw samples from ImpFlows. Empirically, we evaluate ImpFlow on several classification and density modeling tasks, and ImpFlow outperforms ResFlow with a comparable amount of parameters on all the benchmarks.

연구 동기 및 목표

• 표현 능력에 제약을 받는 명시적 정규화 흐름, 특히 리미트된 리프시츠 연속성으로 인해 특정 역행성 함수를 정확히 표현할 수 없는 잔여 흐름(ResFlows)의 표현 능력 한계를 극복하기 위함.
• 밀도 추정 및 샘플링에 대해 계산 가능성을 유지하면서도 암묵적 역행성 변환을 위한 실용적인 프레임워크를 개발하기 위함.
• 암묵적 흐름이 다수의 블록을 가진 ResFlows가 비노실한 오차로 근사하는 함수를 단일 블록으로도 정확히 표현할 수 있는지 확인하기 위함.
• 암묵적 미분과 근을 구하는 절차를 활용하여 확장 가능한 훈련 및 추론 알고리즘을 설계하기 위함.

제안 방법

• ImpFlows는 주어진 $\mathbf{x}$에 대해 $\mathbf{z}$를 근을 구하는 절차를 통해 얻는 방식으로, 방정식 $F(\mathbf{z}, \mathbf{x}) = \mathbf{0}$ 의 근을 통해 변환을 암묵적으로 정의한다.
• ImpFlow의 각 블록은 ResFlow 블록과 다른 ResFlow 블록의 역행성 변환의 조합로 구성되며, 이는 역행성과 계산 가능한 야코비안 행렬식 추정을 보장한다.
• 야코비안의 로그 행렬식은 암묵함수 정리에 기반한 확률적 추정기법을 사용하여 추정하며, 이는 미분 가능 훈련을 가능하게 한다.
• 반복적 근을 구하는 방법과 암묵적 미분을 활용한 확장 가능한 샘플링 및 밀도 평가 알고리즘이 개발되었으며, 계산 오버헤드는 ResFlows와 유사하다.
• 역행성과 수치적 안정성을 확보하기 위해 잔여 블록에 스펙트럴 정규화와 리프시츠 제약 조건을 적용한다.
• 모델은 Adam 최적화기를 사용하여 훈련되며, 학습률은 $10^{-3}$ 으로 설정되며, 로그 행렬식 항은 항의 수에 대해 기하분포 또는 포isson 분포를 기반으로 추정된다.

실험 결과

연구 질문

• RQ1 근을 구하는 방정식으로 정의된 암묵적 역행성 변환은 명시적 변환보다 정규화 흐름에서 더 풍부한 함수 공간을 제공할 수 있는가?
• RQ2 단일 블록 ImpFlows는 다수의 블록을 가진 ResFlows가 비노실한 오차로 근사하는 함수를 정확히 표현할 수 있는가?
• RQ3 모델 크기와 계산 비용이 유사한 조건에서 ImpFlows는 ResFlows보다 더 뛰어난 밀도 모델링 성능을 달성할 수 있는가?
• RQ4 암묵적 흐름의 훈련과 샘플링은 계산 오버헤드가 관리 가능할 정도로 확장 가능하고 실용적인가?

주요 결과

• ImpFlows는 파arameter 수와 계산 비용이 유사한 조건에서 모든 테스트 벤치마크에서 ResFlows를 뛰어넘는 성능을 보였다. 이는 이미지 및 표본 밀도 모델링 작업을 포함한다.
• CIFAR10 데이터셋에서 ImpFlows는 테스트 NLL을 2.88 비트/차원으로 달성하였으며, 200개 블록의 ResFlow가 달성한 2.92 비트/차원보다 뛰어나다.
• MINIBOONE 데이터셋에서 20개 블록의 ImpFlows는 테스트 NLL을 0.48 비트/차원으로 달성하였으며, 데이터 부족으로 과적합이 발생하는 ResFlow보다 뚜렷이 뛰어난 성능을 보였다.
• 이론적 분석 결과, 단일 블록 ImpFlows의 함수 공간은 두 블록 ResFlows의 함수 공간보다 엄밀히 더 풍부하며, ImpFlows는 ResFlows가 비노실한 오차로 근사하는 함수를 정확히 표현할 수 있음을 보였다.
• 실험 결과에 따르면 ImpFlows와 ResFlows 간의 성능 격차는 깊이가 증가함에 따라 점점 줄어들며, 이는 ImpFlows가 더 적은 블록 수로도 더 높은 표현 능력을 달성함을 시사한다.