[논문 리뷰] Representational aspects of depth and conditioning in normalizing flows

Frederic Koehler, Viraj Mehta외 1명|arXiv (Cornell University)|2020. 10. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 7

한 줄 요약

이 논문은 정규화 흐름의 표현 능력을 깊이와 조건화 조건에 중점을 두고 조사한다. 아핀 커플링 레이어가 일정한 깊이에서 순열이나 1×1 컨볼루션을 정확히 표현할 수 있음을 증명하며, 불량 조건이 허용될 경우 얕은 네트워크가 워샤어스타인 거리에서 보편 근사자임을 보여준다. 주요 기여는 유한한 리프시츠 상수와 한 층당 적은 수의 뉴런을 갖는 일반적인 역행성 아키텍처에 대해 이론적인 깊이 하한을 도출한 것이다.

ABSTRACT

Normalizing flows are among the most popular paradigms in generative modeling, especially for images, primarily because we can efficiently evaluate the likelihood of a data point. This is desirable both for evaluating the fit of a model, and for ease of training, as maximizing the likelihood can be done by gradient descent. However, training normalizing flows comes with difficulties as well: models which produce good samples typically need to be extremely deep -- which comes with accompanying vanishing/exploding gradient problems. A very related problem is that they are often poorly conditioned: since they are parametrized as invertible maps from $\mathbb{R}^d o \mathbb{R}^d$, and typical training data like images intuitively is lower-dimensional, the learned maps often have Jacobians that are close to being singular. In our paper, we tackle representational aspects around depth and conditioning of normalizing flows: both for general invertible architectures, and for a particular common architecture, affine couplings. We prove that $Θ(1)$ affine coupling layers suffice to exactly represent a permutation or $1 imes 1$ convolution, as used in GLOW, showing that representationally the choice of partition is not a bottleneck for depth. We also show that shallow affine coupling networks are universal approximators in Wasserstein distance if ill-conditioning is allowed, and experimentally investigate related phenomena involving padding. Finally, we show a depth lower bound for general flow architectures with few neurons per layer and bounded Lipschitz constant.

연구 동기 및 목표

• 정규화 흐름의 표현 한계가 깊이와 조건화 조건에 의해 어떻게 영향을 받는지 이해하기 위해.
• 분할 또는 순열 레이어와 같은 아키텍처 선택이 아핀 커플링 흐름의 표현 능력을 제한하는지 분석하기 위해.
• 복잡한 분포를 근사하기 위해 역행성 네트워크가 필요한 최소 깊이에 대한 이론적 한계를 설정하기 위해.
• 자기행렬의 조건수(예: 특이 행렬식)가 모델 표현력과 학습 안정성에 미치는 영향을 조사하기 위해.

제안 방법

• Θ(1)의 아핀 커플링 레이어가 어떤 순열이나 1×1 컨볼루션도 정확히 표현할 수 있음을 증명하여, 분할 방식이 표현 능력의 한계가 되지 않음을 보였다.
• 무작위 마스크와 가우시안 믹스처를 사용한 구성으로, 불량 조건이 허용될 경우 얕은 아핀 커플링 네트워크가 워샤어스타인 거리에서 분포를 보편적으로 근사할 수 있음을 보였다.
• 매개변수 공간에 대한 에psilon-넷 추론을 적용하여 근사 오차를 제한하고, 역행성 네트워크의 리프시츠 연속성을 활용하였다.
• 워샤어스타인 거리와 KL 발산 간의 관계를 설정하기 위해 보브코프-고체 불등식을 적용하여, 워샤어스타인 거리로부터 KL 발산의 하한을 도출하였다.
• 다중모달 분포의 집합과 삼각 부등식 추론을 활용하여 일반적인 역행성 아키텍처에 대해 깊이 하한을 도출하였다.
• 극한 조합론의 결과(로델 및 토마, 1996)를 활용하여 고차원 벡터에서 낮은 오버랩을 갖는 부분집합을 구성하여 근사가 어려운 분포를 생성하였다.

실험 결과

연구 질문

• RQ1 GLOW와 같은 모델에서 사용되는 1×1 컨볼루션 또는 순열을 정확히 표현하기 위해 고정된 수의 아핀 커플링 레이어가 필요한가?
• RQ2 불량 조건이 허용될 경우, 얕은 아핀 커플링 네트워크로 워샤어스타인 거리에서 보편 근사를 달성할 수 있는가?
• RQ3 가중치가 유한하고 한 층당 뉴런 수가 적을 경우, 일반적인 역행성 아키텍처가 복잡한 분포를 표현하기 위해 필요한 최소 깊이는 얼마인가?
• RQ4 자기행렬의 조건수는 정규화 흐름의 표현력과 학습 안정성에 어떤 영향을 미치는가?
• RQ5 표준 학습 설정에서 팯딩 또는 순열 레이어 없이도 보편 근사를 달성할 수 있는가?

주요 결과

• Θ(1)의 깊이를 갖는 아핀 커플링 레이어는 어떤 순열이나 1×1 컨볼루션도 정확히 표현할 수 있으며, 이는 분할 방식이 표현 능력의 한계가 되지 않음을 입증한다.
• 불량 조건이 허용될 경우, 얕은 아핀 커플링 네트워크는 워샤어스타인 거리에서 보편 근사자임을 마스크가 적용된 가우시안 믹스처를 활용한 구성으로 입증하였다.
• 유한한 리프시츠 상수와 한 층당 적은 수의 뉴런을 갖는 일반적인 역행성 아키텍처에 대해 깊이 하한을 설정하였으며, 특정 다중모달 분포를 표현하기 위해 깊이가 필수적임을 보였다.
• 분리된 평균을 갖는 k개의 가우시안 믹스처는 ε에 독립적으로 크기가 O(k)인 네트워크의 푸시포워드를 통해 근사될 수 있으며, 이때 가중치는 ε에 비례하여 증가한다.
• 표준 가우시안을 L-리프시츠 생성자로 푸시포워드한 결과는 서브가우시안 尾 조건을 만족하며, 이는 보브코프-고테 불등식의 적용을 가능하게 하여 워샤어스타인 거리와 KL 발산 간의 관계를 설정한다.
• 매개변수 공간에 대한 에psilon-넷 추론을 통해 모든 역행성 네트워크가 유한한 크기의 집합(크기 O((LR/ε)^d'))을 사용해 기대값 기준 ε 이내로 근사될 수 있음을 입증하였다.