[논문 리뷰] Graphical Normalizing Flows

Antoine Wehenkel, Gilles Louppe|arXiv (Cornell University)|2020. 06. 03.

Bayesian Modeling and Causal Inference참고 문헌 44인용 수 12

한 줄 요약

이 논문은 고정 또는 학습 가능한 구조를 가진 베이지안 네트워크를 통해 역행성 변환을 모델링하는 새로운 정규화 플로 아키텍처인 그래픽스 정규화 플로를 소개한다. 커플링 및 추론 플로를 특수한 경우로 간주하는 방식으로, 그래프 구조를 통해 도메인 지식을 통합하고 해석 가능성을 향상시키며 고정 순열이 없는 경쟁력 있는 밀도 추정 성능을 달성한다. 진짜 구조가 알려져 있거나 ℓ₁-벌점화를 통해 발견된 경우 표준 플로를 능가한다.

ABSTRACT

Normalizing flows model complex probability distributions by combining a base distribution with a series of bijective neural networks. State-of-the-art architectures rely on coupling and autoregressive transformations to lift up invertible functions from scalars to vectors. In this work, we revisit these transformations as probabilistic graphical models, showing they reduce to Bayesian networks with a pre-defined topology and a learnable density at each node. From this new perspective, we propose the graphical normalizing flow, a new invertible transformation with either a prescribed or a learnable graphical structure. This model provides a promising way to inject domain knowledge into normalizing flows while preserving both the interpretability of Bayesian networks and the representation capacity of normalizing flows. We show that graphical conditioners discover relevant graph structure when we cannot hypothesize it. In addition, we analyze the effect of $\ell_1$-penalization on the recovered structure and on the quality of the resulting density estimation. Finally, we show that graphical conditioners lead to competitive white box density estimators. Our implementation is available at https://github.com/AWehenkel/DAG-NF.

연구 동기 및 목표

• 표준 정규화 플로의 해석 가능성 부족과 인도적 편향 결여 문제를 확률적 그래픽 모델을 통해 도메인 지식을 통합함으로써 해결하고자 한다.
• 구조 조건부를 가진 베이지안 네트워크로 커플링 및 추론 플로의 일반화를 제안하고자 한다.
• 베이지안 네트워크 구조의 ℓ₁-벌점화 학습을 통해 의미 있는 조건부 이상성 관계를 발견할 수 있도록 하고자 한다.
• 사전 구조가 제공되거나 학습 가능한 경우 그래픽스 조건자( conditioner )가 밀도 추정 품질을 향상시킬 수 있음을 보여주고자 한다.
• 그래프 기반 마스크를 사용함으로써 정규화 플로에서 고정 순열에 의존하는 것을 제거하고자 한다.

제안 방법

• 고정 구조를 가진 베이지안 네트워크로 커플링 및 추론 플로를 재구성하며, 각 노드의 조건부 밀도는 신경망을 통해 학습한다.
• 도형적 조건자( graph conditioner )를 제안한다. 이는 방향 비순환 그래프(DAG)를 사용해 어떤 변수가 다른 변수를 조건으로 하는지 정의하며, 학습 가능한 또는 고정된 인접 행렬을 사용한다.
• NO TEARS 스타일의 미분 가능 점수를 활용해 사이클성 제약의 연속적 근사(continuous relaxation)를 통해 DAG 구조를 엔드 투 엔드로 훈련한다.
• 인접 행렬에 ℓ₁-벌점을 적용하여 희박성과 의미 있는 조건부 이상성 구조의 발견을 유도한다.
• 그래픽스 조건자를 스택하여 정규화 플로를 구성하며, 선택적 셔플링 또는 학습 가능한 순열은 그래프 기반 마스크로 대체된다.
• 표준 정규화 플로 아키텍처에 그래픽스 조건자를 통합함으로써 정확한 가능도 계산과 역행성 유지가 가능하다.

실험 결과

연구 질문

• RQ1 커플링 및 추론 플로는 고정 구조를 가진 베이지안 네트워크로 공식적으로 재해석될 수 있는가?
• RQ2 ℓ₁-벌점화 최적화를 통해 베이지안 네트워크 구조를 학습할 경우, 표준 추론 또는 커플링 플로보다 더 나은 밀도 추정 성능를 달성할 수 있는가?
• RQ3 진짜 구조가 알려져 있지 않은 경우 그래픽스 정규화 플로는 관련 있는 조건부 이상성 구조를 발견할 수 있는가?
• RQ4 밀도 추정 과제에서 그래픽스 정규화 플로는 표준 블랙박스 정규화 플로 아키텍처와 비교해 어떻게 성능를 보이는가?
• RQ5 그래픽스 조건자는 정규화 플로에서 고정 또는 학습 가능한 순열이 필요 없도록 만들 수 있는가?

주요 결과

• 진짜 그래프 구조에 대한 사전 지식이 없더라도, 그래픽스 정규화 플로는 최첨단 블랙박스 정규화 플로 아키텍처와 경쟁 가능한 밀도 추정 성능를 달성한다.
• 진짜 베이지안 네트워크 구조가 제공되는 경우, 그래픽스 조건자는 추론 및 커플링 플로보다 밀도 추정 성능를 크게 향상시킨다.
• 적절한 ℓ₁-벌점화를 통해 모델은 데이터로부터 의미 있는 그래프 구조를 성공적으로 발견하며, 진짜 조건부 이상성 관계를 반영한다.
• 그래프 기반 마스크를 사용함으로써 고정 또는 학습 가능한 순열에 의존하는 것을 제거하여 해석 가능성과 모델링 정확도를 모두 향상시킨다.
• 그래픽스 조건자는 정규화 플로의 보편 근사 능력을 유지하면서도 구조적 인도적 편향을 추가함으로써 더 나은 일반화 및 해석 가능성을 가능하게 한다.
• 이 방법은 명시적이고 인간이 읽을 수 있는 조건부 의존성을 제공함으로써 화이트박스 밀도 추정을 가능하게 하며, 원인 분석과 같은 후속 작업에 적합하다.