[논문 리뷰] You say Normalizing Flows I see Bayesian Networks

Antoine Wehenkel, Gilles Louppe|arXiv (Cornell University)|2020. 06. 01.

Gaussian Processes and Bayesian Inference참고 문헌 4인용 수 4

한 줄 요약

이 논문은 정규화 흐름을 베이지안 네트워크로 재해석하여, 커플링 및 순자기적 흐름이 학습 가능한 노드 밀도를 가진 특정 BN 구조에 해당함을 드러낸다. 또한 세 개 이상의 애파인 변환 레이어를 스택할 경우 기본적인 용량의 급격한 증가가 발생하지만, 애파인 정규화 흐름은 깊이에 관계없이 구조적 제약으로 인해 항상 비보편적인 밀도 근사기로 남아 있음을 입증한다.

ABSTRACT

Normalizing flows have emerged as an important family of deep neural networks for modelling complex probability distributions. In this note, we revisit their coupling and autoregressive transformation layers as probabilistic graphical models and show that they reduce to Bayesian networks with a pre-defined topology and a learnable density at each node. From this new perspective, we provide three results. First, we show that stacking multiple transformations in a normalizing flow relaxes independence assumptions and entangles the model distribution. Second, we show that a fundamental leap of capacity emerges when the depth of affine flows exceeds 3 transformation layers. Third, we prove the non-universality of the affine normalizing flow, regardless of its depth.

연구 동기 및 목표

• 정규화 흐름을 확률적 그래픽 모델, 특히 베이지안 네트워크의 관점에서 재해석하기.
• 변환 레이어를 더 많이 스택할 경우 정규화 흐름의 독립성 가정과 모델 용량에 어떤 영향을 미치는지 분석하기.
• 애파인 정규화 흐름이 보편적인 밀도 근사기로 작동하는지 조사하기.
• 정규화 흐름 아키텍처의 구조적 제약과 용량 동역학에 대한 이론적 통찰 제공하기.

제안 방법

• 커플링 및 순자기적 정규화 흐름 레이어를 고정된 구조를 가진 베이지안 네트워크로 재구성하고, 각 노드에서 학습 가능한 조건부 밀도를 부여한다.
• 변수 변경 공식을 사용하여 변환된 변수의 결합 밀도를 기저 분포와 자코비안 행렬식의 형태로 표현한다.
• d-분리 및 I-맵 이론을 적용하여 등가 베이지안 네트워크 표현에서의 조건부 독립성을 분석한다.
• 단일 및 다단계 흐름에 대해 등가 베이지안 네트워크를 구성하여, 각 레이어마다 어떻게 의존성이 도입되는지 보여준다.
• 반례를 통한 추론을 활용하여 비보편성을 증명한다. 즉, 구성 요소의 잠재 조상이 제한되어 있을 경우 애파인 흐름이 비정규 분포의 마진널 분포를 모델링할 수 없음을 보여준다.
• 일대일 변환의 구조적 제약을 분석하여, BN에서 비방향 엣지를 제거할 경우 일대일성 조건이 위반됨을 증명한다.

실험 결과

연구 질문

• RQ1 정규화 흐름 아키텍처는 어떻게 공식적으로 베이지안 네트워크 구조로 매핑될 수 있는가?
• RQ2 더 많은 흐름 레이어를 스택할 경우 조건부 독립성 가정에는 어떤 변화가 생기는가?
• RQ3 정규화 흐름 용량이 급격히 증가하는 임계 깊이가 존재하는가?
• RQ4 애파인 정규화 흐름은 깊이에 관계없이 어떤 확률 분포도 보편적으로 근사할 수 있는가?
• RQ5 애파인 정규화 흐름이 보편 근사에 실패하는 구조적 제약은 무엇인가?

주요 결과

• 여러 정규화 흐름 변환을 스택하면 독립성 가정이 완화되고, 새로운 조건부 의존성이 도입되어 모델 분포가 얽히게 된다.
• 애파인 정규화 흐름의 깊이가 3층을 초과할 경우 기본적인 용량의 급격한 증가가 발생하여 모델링 능력에 질적 변화가 일어남을 시사한다.
• 애파인 정규화 흐름은 심지어 무한한 깊이를 가질 경우에도 비정규 분포의 마진널 분포를 모델링하는 데 구조적 제약이 존재해 보편적인 밀도 근사기로 작동하지 않는다.
• 데이터 벡터의 구성 요소가 마진널로 비정규일 경우, 등가 베이지안 네트워크가 이를 표현할 수 없으며, 이는 잠재 조상의 구조가 비선형 변환을 허용해야만 가능하지만, 이는 일대일성 조건에 의해 제한된다.
• 모델의 용량은 어떤 구성 요소가 유일한 잠재 조상만을 가질 경우 선형 함수여야 하므로 정규성 제약이 발생함에 따라 제한된다.
• 정규화 흐름과 베이지안 네트워크 간의 등가성은 조건자 용량이 충분한 경우 추가 흐름 레이어가 용량 향상에 기여하지 않음을 드러내며, 2차원 토이 문제에서 관찰된 바와 같이 실제로도 그러한 경향을 보인다.