[논문 리뷰] Conditional Sum-Product Networks: Imposing Structure on Deep Probabilistic Architectures

Xiaoting Shao, Alejandro Molina외 5명|arXiv (Cornell University)|2019. 05. 21.

Bayesian Modeling and Causal Inference참고 문헌 40인용 수 15

한 줄 요약

이 논문은 조건부 합-곱 신경망(CSPNs)을 소개한다. 이는 신경망과 구조적 SPNs를 융합한 깊이 있는 추론 가능 확률 모델로, 복잡한 다변량 조건부 분포 $P(\mathbf{Y}|\mathbf{X})$를 모델링하면서도 추론의 추론 가능성을 유지한다. 깊이 있는 신경망을 통해 SPN의 매개변수를 입력에 조건화하고, 무작위 조건부 상관관계 검증(RCoT)을 통해 구조를 학습함으로써, 다중 레이블 이미지 분류에서 최신 기술(SOTA) 성능을 달성한다. 이는 평균 장 가정 및 혼합 밀도 네트워크보다도 우수한 가능도와 정확도를 기록한다.

ABSTRACT

Probabilistic graphical models are a central tool in AI; however, they are generally not as expressive as deep neural models, and inference is notoriously hard and slow. In contrast, deep probabilistic models such as sum-product networks (SPNs) capture joint distributions in a tractable fashion, but still lack the expressive power of intractable models based on deep neural networks. Therefore, we introduce conditional SPNs (CSPNs), conditional density estimators for multivariate and potentially hybrid domains which allow harnessing the expressive power of neural networks while still maintaining tractability guarantees. One way to implement CSPNs is to use an existing SPN structure and condition its parameters on the input, e.g., via a deep neural network. This approach, however, might misrepresent the conditional independence structure present in data. Consequently, we also develop a structure-learning approach that derives both the structure and parameters of CSPNs from data. Our experimental evidence demonstrates that CSPNs are competitive with other probabilistic models and yield superior performance on multilabel image classification compared to mean field and mixture density networks. Furthermore, they can successfully be employed as building blocks for structured probabilistic models, such as autoregressive image models.

연구 동기 및 목표

• 확률 모델에서 표현력, 해석 가능성, 추론 가능성 간의 상충 관계를 해결하기 위해.
• 합-곱 신경망(SPNS)을 $P(\mathbf{Y}|\mathbf{X})$ 조건부 분포로 확장하면서도 추론 가능성을 유지하기 위해.
• 딥 네트워크가 조건부 독립성 구조를 유지하면서 SPN의 구조를 파rameter화할 수 있도록 하기 위해.
• 이질적인 데이터와 조건부 의존성에 적응하는 CSPN의 구조 학습 알고리즘을 개발하기 위해.
• 자기회귀적 이미지 생성기와 같은 구조적 확률 모델의 구성 요소로 CSPN을 활용할 수 있도록 하기 위해.

제안 방법

• 게이팅 노드를 도입하여 기능적 혼합 계수를 갖는 혼합 모델로 SPN을 정의함으로써, SPN의 조건부 매개변수화를 가능하게 한다.
• 무작위 조건부 상관관계 검증(RCoT) 기반의 구조 학습 알고리즘을 제안하여 데이터 내 조건부 독립성 관계를 식별한다.
• 딥 네트워크를 사용해 SPN의 구조를 파arameter화함으로써, 더 높은 모델 용량을 확보하고 엔드 투 엔드 학습이 가능한 신경 기반 CSPN을 구성한다.
• 이미지 분포를 블록 단위로 인수 분해하여 조건부 SPN의 곱을 사용함으로써 자기회귀적 CSPN(ABCSPNs)을 도입하여 구조적 생성을 가능하게 한다.
• SPN의 구조는 무작위 SPN 생성(Peharz 등, 2019)을 통해 초기화되며, 이후 신경망 출력을 통해 입력에 조건화된다.
• 모델은 기울기 기반 최적화를 사용해 최대 가능도 기반으로 학습되며, MPE 추정은 최대-곱 근사법을 통해 도출된다.

실험 결과

연구 질문

• RQ1 SPN을 $P(\mathbf{Y}|\mathbf{X})$ 조건부 분포로 확장하면서도 추론 가능성과 구조적 해석 가능성을 유지할 수 있는가?
• RQ2 사전 가정에 의존하지 않고 데이터 기반으로 $\mathbf{Y}$ 의 조건부 독립성 구조를 어떻게 학습할 수 있는가?
• RQ3 신경망을 효과적으로 사용해 SPN의 구조를 파arameter화함으로써 표현력은 높이고 추론 가능성은 유지할 수 있는가?
• RQ4 CSPN을 자기회귀적 이미지 생성기와 같은 더 깊고 구조적인 확률 모델의 모듈러 구성 요소로 활용할 수 있는가?
• RQ5 모델에 조건부 의존성을 통합함으로써 평균 장 가정 및 혼합 밀도 네트워크 기반 모델에 비해 성능 향상이 뚜렷하게 이루어지는가?

주요 결과

• CelebA 데이터셋에서 CSPN은 조건부 로그가능도 -10.8과 평균 정확도 87.8%를 기록했으며, 평균 장 가정(Baselines: CLL: -12.1, 정확도: 86.6%)과 혼합 밀도 네트워크(Baselines: CLL: -11.6, 정확도: 85.3%)를 모두 초월했다.
• 다중 레이블 MNIST 및 패션-MNIST에서 CSPN은 78.4%의 정확도를 기록했으며(평균 장 가정: 74.1%, MDN: 76.4%), 가능도는 유의미하게 높았다.
• CSPN은 약 400만 개의 매개변수만을 사용했음에도 불구하고, 이전 연구에서 제안한 더 복잡한 아키텍처를 능가하는 경쟁력 있는 성능을 달성했다.
• RCoT 기반의 구조 학습 방법은 이질적인 데이터에서 조건부 독립성 관계를 성공적으로 식별하여 더 컴act하고 해석 가능한 CSPN 구조를 가능하게 했다.
• 신경 기반 CSPN은 조건부 의존성을 더 잘 모델링하여 독립적(평균 장 가정) 및 혼합 기반 접근법 대비 가능도와 정확도에서 뚜렷한 향상을 이뤘다.
• 블록 단위로 자기회귀적 CSPN을 사용해 이미지 분포를 모델링한 ABCSPNs는 고해상도 이미지 샘플을 성공적으로 생성했으며, PixelCNN++ 수준의 품질을 보였고, CSPN이 구조적 모델의 구성 요소로 활용될 수 있음을 입증했다.