[논문 리뷰] The Expressive Power of a Class of Normalizing Flow Models

Zhifeng Kong, Kamalika Chaudhuri|arXiv (Cornell University)|2020. 05. 31.

Artificial Intelligence in Games인용 수 15

한 줄 요약

이 논문은 기본적인 정규화 흐름 모델—평면형, 실베스터, 하우스홀더 흐름—의 표현 능력을 철저히 분석한다. 일차원 평면형 흐름은 보편 근사기이지만, ReLU나 부드러운 비선형성을 가진 고차원 흐름는 깊이가 너무 깊어지지 않는 한 복잡한 분포를 근사하는 데 근본적인 제약를 갖는다. 주요 결과는 특정 타겟 분포를 변환하는 데 깊이가 Ω(d^{1/τ−1})만큼 증가해야 한다는 점으로, 이는 고차원에서 중간 깊이의 흐름이 표현 능력이 떨어진다는 것을 시사한다.

ABSTRACT

Normalizing flows have received a great deal of recent attention as they allow flexible generative modeling as well as easy likelihood computation. While a wide variety of flow models have been proposed, there is little formal understanding of the representation power of these models. In this work, we study some basic normalizing flows and rigorously establish bounds on their expressive power. Our results indicate that while these flows are highly expressive in one dimension, in higher dimensions their representation power may be limited, especially when the flows have moderate depth.

연구 동기 및 목표

• 기본적인 정규화 흐름 모델의 표현 능력을 공식적으로 이해하는 것—이들은 널리 사용되지만 표현 능력 측면에선 이해가 부족하다.
• 이러한 흐름이 소스 분포(예: 정규분포)를 복잡한 타겟 분포로 얼마나 잘 변환할 수 있는지에 대한 이론적 이해의 격차를 메우는 것.
• 일반적인 흐름 아키텍처가 고차원 공간에서 임의의 분포를 정확히 또는 근사적으로 표현할 수 있는지 조사하는 것.
• 지정된 타겟 분포를 정확히 근사하기 위해 국소 평면형 및 하우스홀더 흐름의 깊이가 어느 정도 필요로 하는지 규명하는 것.

제안 방법

• 평면형 흐름이 유도하는 밀도의 방향 도함수를 분석하여 국소 밀도 구조에 변환이 어떻게 영향을 주는지에 초점을 맞춘 국소 분석을 수행한다.
• 특정 흐름 제약 조건 하에서 입력 및 출력 분포 간의 총 변동 거리에 상한을 설정함으로써 전역 분석을 수행한다.
• 코우란트-파이셔 정리와 고유값 분석을 사용하여 출력 공간 내 고정된 반경을 가진 구 위에서의 밀도 값 변화에 상한을 설정한다.
• 거스터긴 순환 정리(Gershgorin Circle Theorem)를 적용하여 변환 행렬의 스펙트럼 확산에 상한을 설정하고, 이로 인해 깊이에 따라 변화하는 오차 상한을 도출한다.
• 소스 분포와 변환된 분포 간의 총 변동 거리에 상한을 도출하여 차원과 비선형성 유형에 따른 의존성을 보여준다.
• ReLU, tanh, arctan, 시그모이드 비선형성을 가진 흐름의 행동을 분석하여 비선형성이 근사 깊이 요구 조건에 어떻게 영향을 주는지에 중점을 둔다.

실험 결과

연구 질문

• RQ1 ReLU 활성화 함수를 사용하는 일차원 평면형 흐름과 정규분포 소스 분포는 유한한 간격의 유합집합 위에 정의된 임의의 타겟 분포를 임의의 정밀도로 근사할 수 있는가?
• RQ2 깊이가 어떤 수준이든 ReLU 기반 실베스터 흐름은 k개의 정규분포 혼합분포나 곱분포를 다른 같은 유형의 분포로 정확히 변환할 수 있는가?
• RQ3 원점 주변의 공 안에서 일정하고, 외부에서는 exp(−‖x‖₂^{1/τ})만큼 감쇠하는 타겟 분포를 근사하기 위해 부드러운 비선형성(예: tanh, 시그모이드)을 가진 국소 평면형 흐름이 필요한 최소 깊이는 얼마인가?
• RQ4 하우스홀더 흐름의 근사 오차는 유도 차원과 타겟 분포가 표준 정규분포에 얼마나 가까운지에 따라 어떻게 변화하는가?
• RQ5 정규화 흐름의 가역성 제약 조건은 표준 신경망에 비해 표현 능력을 얼마나 제한하는가?

주요 결과

• ReLU 활성화 함수를 사용하는 일차원 평면형 흐름과 정규분포 소스 분포는 임의의 유한한 간격의 유합집합 위에 정의된 타겟 분포를 임의의 정밀도로 근사할 수 있다.
• ReLU 기반 실베스터 흐름는 깊이가 어느 정도이든, 매우 특별한 조건을 제외하고는 k개의 정규분포 혼합분포나 곱분포를 다른 같은 유형의 분포로 정확히 변환할 수 없다.
• 원점 주변의 공 안에서 일정하고, 외부에서는 exp(−‖x‖₂^{1/τ})만큼 감쇠하는 타겟 분포를 근사하기 위해 부드러운 비선형성을 가진 국소 평면형 흐름은 정확한 근사를 달성하기 위해 깊이 Ω(d^{1/τ−1})가 필요하다.
• 타겟 분포가 표준 정규분포에 가까울 경우, 하우스홀더 흐름 역시 동일한 타겟 분포 클래스를 근사하기 위해 깊이 Ω(d^{1/τ−1})가 필요하다.
• 흐름 매개변수에 특정 조건이 만족될 경우, 소스 분포와 변환된 분포 간의 총 변동 거리는 O(d^{−κ})로 상한이 설정되며, 이는 매개변수의 희박성이 증가할수록 근사 오차가 감소함을 시사한다.
• 분석 결과, 조건부 비선형성(예: tanh, 시그모이드)을 가진 정규화 흐름라도 특정 타겟 분포를 근사하기 위해 비현실적으로 큰 깊이가 필요할 수 있으며, 특히 고차원에서 이러한 문제가 더욱 두드러진다.