[논문 리뷰] FSPN: A New Class of Probabilistic Graphical Model

Zi‐Niu Wu, Rong Zhu외 6명|arXiv (Cornell University)|2020. 11. 18.

Bayesian Modeling and Causal Inference참고 문헌 46인용 수 6

한 줄 요약

FSPN는 상관관계가 높은 변수에 대해 베이지안 네트워크 인수분해를, 상관관계가 낮은 변수에 대해 합- tích 네트워크 인수분해를 적응적으로 조합하는 새로운 확률적 그래픽 모델을 제안한다. 이로 인해 높은 추정 정확도와 거의 선형에 가까운 추론 속도를 동시에 달성한다. 기준 데이터셋에서 기존 모델들보다 로그우도, 추론 속도(최대 680배 빠름), 모델의 압축성 측면에서 뛰어난 성능을 보였다.

ABSTRACT

We introduce factorize sum split product networks (FSPNs), a new class of probabilistic graphical models (PGMs). FSPNs are designed to overcome the drawbacks of existing PGMs in terms of estimation accuracy and inference efficiency. Specifically, Bayesian networks (BNs) have low inference speed and performance of tree structured sum product networks(SPNs) significantly degrades in presence of highly correlated variables. FSPNs absorb their advantages by adaptively modeling the joint distribution of variables according to their dependence degree, so that one can simultaneously attain the two desirable goals: high estimation accuracy and fast inference speed. We present efficient probability inference and structure learning algorithms for FSPNs, along with a theoretical analysis and extensive evaluation evidence. Our experimental results on synthetic and benchmark datasets indicate the superiority of FSPN over other PGMs.

연구 동기 및 목표

• 기존 확률적 그래픽 모델(PGM)에서 추정 정확도와 추론 효율성 간의 상충 관계를 해결하기 위해.
• 베이지안 네트워크(BNs)의 느린 추론과 합-곱 네트워크(SPNs)의 높은 상관관계 변수에 대한 열악한 성능이라는 한계를 극복하기 위해.
• 변수 간 의존도에 따라 인수분해 전략을 동적으로 선택하는 통합적이고 적응적인 PGM 프레임워크를 설계하기 위해.
• 높은 추정 정확도와 다루기 쉬운 추론 속도를 동시에 달성하기 위해.

제안 방법

• FSPN은 변수 간 의존도에 따라 공동 확률 밀도함수(PDF)를 적응적으로 분해한다: 상관관계가 높은 변수군에는 BN 기반 조건부 인수분해를, 상관관계가 낮은 변수군에는 SPN 방식의 국소적 독립성 인수분해를 적용한다.
• 다변량 PDF를 모델링하기 위해 차원 감소 기법(예: 주성분 분석(PCA))을 활용한다.
• 나무 구조의 네트워크에서 조건부 및 국소적 인수분해를 반복 적용하여 효율적인 주변 확률 추론을 가능하게 한다.
• 최대우도추정(MLE) 기반의 국소적으로 최적의 구조 학습 알고리즘을 제안하여 FSPN의 효율적 구축을 지원한다.
• 추론 알고리즘은 노드 수에 대해 거의 선형 시간 내에 실행되어 높은 다루기 쉬움을 확보한다.
• FSPN은 나무 구조의 SPN과 이산 BN을 특수 케이스로 일반화하여 다양한 PGM 프레임워크로서의 유연성을 확보한다.

실험 결과

연구 질문

• RQ1 BN과 SPN 인수분해 전략을 융합한 하이브리드 PGM이 높은 추정 정확도와 빠른 추론을 동시에 달성할 수 있는가?
• RQ2 변수 간 의존도 정도에 기반한 적응적 인수분해가 고정된 구조를 가진 PGM에 비해 모델링 성능을 어떻게 향상시키는가?
• RQ3 하이브리드 PGM에서 모델의 표현력, 추론 속도, 압축성 간의 상충 관계는 어떻게 나타나는가?
• RQ4 FSPN이 실제 기준 데이터셋에서 로그우도와 추론 시간 측면에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• FSPN은 18개의 기준 데이터셋 중 14개에서 최고의 로그우도 점수를 기록했으며, LearnSPN, BayesSPN, MT, WinMine, ECNet, EM-PSDD를 모두 능가했다.
• 평균적으로 FSPN은 KL 발산을 SPN-BTB, SPGM, BN-DAG에 비해 최대 50% 감소시켜 더 뛰어난 추정 정확도를 입증했다.
• FSPN의 추론 속도는 BN-DAG에 비해 최대 680배, SPN-BTB에 비해 261배, BN-Tree에 비해 206배 더 빠르며, 뛰어난 추론 효율성을 입증했다.
• FSPN 모델은 다른 모델들에 비해 최대 두 개의 지수 차수만큼 더 작으며, 대부분의 기준 모델들보다 훈련 시간이 몇 배 빠르게 나타났다.
• 넷플릭스 데이터셋에서 FSPN은 테스트 로그우도 -56.36을 기록했으며, SPN-BTB(-57.12)와 SPGM(-57.33)를 모두 능가했다.
• DNA 데이터셋에서 FSPN은 로그우도 -80.65를 기록했으며, SPN-BTB(-80.97)와 ID-SPN(-82.52)에 비해 뚜렷이 뛰어난 성능을 보였다.