[논문 리뷰] Bayesian Learning of Sum-Product Networks

Martin Trapp, Robert Peharz외 3명|arXiv (Cornell University)|2019. 05. 26.

Bayesian Modeling and Causal Inference참고 문헌 49인용 수 8

한 줄 요약

이 논문은 합-곱 네트워크(SPN) 구조 학습을 위한 원칙적인 베이지안 프레임워크를 제안한다. 문제를 계산 그래프 설계와 베이지안 추론를 통한 스프레드 함수 학습으로 분해함으로써, 단일 후행 추론을 통한 구조 및 파라미터 동시 학습이 가능해지며, 검증 세트 없이도 뛰어난 테스트 로그우도, 결측 데이터에 대한 강건성, 자동 초파rameter 조정을 달성한다. 이는 저자료 환경에서 기존 탐욕적 기반 방법들을 능가한다.

ABSTRACT

Sum-product networks (SPNs) are flexible density estimators and have received significant attention due to their attractive inference properties. While parameter learning in SPNs is well developed, structure learning leaves something to be desired: Even though there is a plethora of SPN structure learners, most of them are somewhat ad-hoc and based on intuition rather than a clear learning principle. In this paper, we introduce a well-principled Bayesian framework for SPN structure learning. First, we decompose the problem into i) laying out a computational graph, and ii) learning the so-called scope function over the graph. The first is rather unproblematic and akin to neural network architecture validation. The second represents the effective structure of the SPN and needs to respect the usual structural constraints in SPN, i.e. completeness and decomposability. While representing and learning the scope function is somewhat involved in general, in this paper, we propose a natural parametrisation for an important and widely used special case of SPNs. These structural parameters are incorporated into a Bayesian model, such that simultaneous structure and parameter learning is cast into monolithic Bayesian posterior inference. In various experiments, our Bayesian SPNs often improve test likelihoods over greedy SPN learners. Further, since the Bayesian framework protects against overfitting, we can evaluate hyper-parameters directly on the Bayesian model score, waiving the need for a separate validation set, which is especially beneficial in low data regimes. Bayesian SPNs can be applied to heterogeneous domains and can easily be extended to nonparametric formulations. Moreover, our Bayesian approach is the first, which consistently and robustly learns SPN structures under missing data.

연구 동기 및 목표

• 기존 SPN 구조 학습기에서 흔히 히ュ리스틱이고 수시적인 학습 원칙의 부재를 해결하기 위해.
• 일관되고 원칙적인 모델 최적화를 보장하기 위해, 구조 학습과 파라미터 학습을 단일 베이지안 추론 프레임워크 내에서 통합하기 위해.
• 베이지안 사전분포와 자동 정규화를 활용하여 일반화 능력과 강건성을 향상시키고, 특히 저자료 및 결측 데이터 환경에서의 성능을 개선하기 위해.
• 모델 점수를 통한 직접적인 초파rameter 평가를 가능하게 하여 별도의 검증 세트가 필요 없도록 하기 위해.
• 유연하고 모듈화된 베이지안 설계를 통해 비모수적 형태로 확장하고 이질적인 도메인에 대한 학습을 가능하게 하기 위해.

제안 방법

• SPN 구조 학습을 두 단계로 분해한다: (1) 합, 곱, 리프 노드의 구조를 정의하는 계산 그래프 설계, (2) 노드에 변수 스펙트럼을 할당하는 스펙트럼 함수 학습.
• 나무형 영역 그래프에 대해 스펙트럼 함수의 자연 매개변수화를 제안하여, 범주형 잠재변수를 통한 효율적 베이지안 추론을 가능하게 한다.
• 공액 사전을 사용하여 타당성 확보를 위해, 스펙트럼 함수, 파라미터, 잠재변수에 대한 단일 후행 추론을 고려한 게비스 샘플링을 구현한다.
• 완전성과 분해 가능성 등의 구조적 제약을 스펙트럼 함수 매개변수화에 직접 통합하여 유효한 SPN 구조 보장을 한다.
• 비모수적 확장과 복잡한 데이터 분포의 강건한 모델링을 가능하게 하기 위해 계층적 사전분포를 도입한다.
• 결측값에 대한 공동 추론을 통해, 보간이 필요 없이도 구조, 파라미터, 결측값을 동시에 추론한다.

실험 결과

연구 질문

• RQ1 히ュ리스틱적이고 局소적인 최적화 전략에 비해, SPN 구조 학습을 위한 원칙적이고 전역 최적화 목표는 무엇인가?
• RQ2 구조 학습과 파라미터 학습을 단일 베이지안 추론 프레임워크 내에서 통합하면 일반화 능력 향상과 과적합 감소에 어떻게 기여하는가?
• RQ3 기존 방법이 보간이 필요하거나 실패하는 경우에도, 베이지안 SPN은 결측 데이터 상황에서 성능을 유지할 수 있는가?
• RQ4 특히 저자료 환경에서, 베이지안 SPN은 테스트 로그우도 측면에서 기존 탐욕적 SPN 학습기보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 베이지안 프레임워크는 비모수적 확장과 이질적 데이터 모델링을 어떻게 자연스럽게 지원할 수 있는가?

주요 결과

• 다양한 데이터셋에서 기존 탐욕적 학습기인 LearnSPN과 ID-SPN보다 베이지안 SPN이 유의미하게 높은 테스트 로그우도 점수를 기록했으며, Dermatology 데이터셋에서 2.7% 향상된 성능을 보였다.
• 자폐 스펙트럼 장애(Autism) 데이터셋에서는 베이지안 SPN이 모든 기준 기반 방법보다 큰 폭으로 승리하여, 기존 방법 대비 과적합 감소를 시사한다.
• 결측 데이터 상황에서도 강건성이 뛰어나, LearnSPN과 ID-SPN은 보간이 있더라도 성능이 급격히 떨어지는 반면, 베이지안 SPN은 안정적인 성능을 유지한다.
• 베이지안 프레임워크 덕분에 모델 점수를 통한 초파rameter 직접 평가가 가능하여 별도의 검증 세트가 필요 없으며, 이는 저자료 환경에서 특히 유리하다.
• 이질적 데이터 실험에서는 MSPN과 ABDA와 같은 전용 모델과 유사한 성능을 기록했고, 특히 Autism 데이터셋에서는 이들을 능가했다.
• 계층적 사전분포와 변분 추론를 통해 비모수적 형태로 자연스럽게 확장 가능하여, 확장성 있고 민첩한 모델링이 가능하다.