[논문 리뷰] Probabilistic Generating Circuits

Honghua Zhang, Brendan Juba외 1명|arXiv (Cornell University)|2021. 02. 19.

Bayesian Modeling and Causal Inference참고 문헌 43인용 수 4

한 줄 요약

이 논문은 확률 생성 다항식을 방향 비순환 회로로 인코딩한 확률 생성 회로(Probabilistic Generating Circuits, PGCs)를 소개한다. PGCs는 확률 분포를 효율적인 추론이 가능한 방식으로 표현하는 새로운 추론 가능 확률 모델이며, 합-곱 네트워크(Sum-Product Networks, SPNs)와 결정성 점진 과정(Determinantal Point Processes, DPPs)보다 엄밀히 더 표현력이 뛰어나며, 여러 벤치마크에서 최고 수준의 밀도 추정 성능을 달성한다. 또한 강한 Rayleigh 분포와의 연결을 통해 이론적 기반을 마련한다.

ABSTRACT

Generating functions, which are widely used in combinatorics and probability theory, encode function values into the coefficients of a polynomial. In this paper, we explore their use as a tractable probabilistic model, and propose probabilistic generating circuits (PGCs) for their efficient representation. PGCs are strictly more expressive efficient than many existing tractable probabilistic models, including determinantal point processes (DPPs), probabilistic circuits (PCs) such as sum-product networks, and tractable graphical models. We contend that PGCs are not just a theoretical framework that unifies vastly different existing models, but also show great potential in modeling realistic data. We exhibit a simple class of PGCs that are not trivially subsumed by simple combinations of PCs and DPPs, and obtain competitive performance on a suite of density estimation benchmarks. We also highlight PGCs' connection to the theory of strongly Rayleigh distributions.

연구 동기 및 목표

• 확률 모델의 확장성을 유지하면서도 추론 가능성을 확보하는 데 도전한다.
• 현재의 합-곱 네트워크와 DPPs와 같은 모델보다 엄밀히 더 표현력이 뛰어난 추론 가능 확률 모델 클래스가 존재하는지 탐색한다.
• 확률 이론에서의 생성 다항식과 실용적 확률 기계 학습 간 격차를 메운다.
• PGCs가 PC와 DPP의 조합로 표현할 수 없는 복잡한 분포를 표현할 수 있음을 보여준다.

제안 방법

• 할당 확률를 계수로 표현하는 확률 생성 다항식을 사용하여 확률 분포를 표현한다.
• 생성 다항식을 방향 비순환 회로(PGC)로 압축하여 효율적 계산을 가능하게 한다.
• 다항식 평가와 계수 합산을 통한 효율적 마진 확률 계산 알고리즘을 개발한다.
• 생성 다항식의 대수적 구조를 활용하여 기존 모델을 초월한 추론 가능성과 표현력을 확보한다.
• PGCs와 강한 Rayleigh 분포 간의 연결을 수립하며, 스패닝 트리 및 숲 분포를 포함한다.
• 커널 기반 표현(예: Lβ 및 Kβ)을 사용하여 PGCs를 DPPs와 연결하고 표현력의 강도를 입증한다.

실험 결과

연구 질문

• RQ1 합-곱 네트워크와 DPPs와 같은 기존 모델보다 엄밀히 더 표현력이 뛰어난 추론 가능 확률 모델이 존재할 수 있는가?
• RQ2 생성 다항식이 기계 학습에서 추론 가능 확률 추론의 실용적 표현으로 사용될 수 있는가?
• RQ3 스패닝 트리 분포와 같은 자연스러운 분포 클래스 중, PC나 DPP로 표현할 수 없고 PGCs로 효율적으로 표현 가능한 분포가 존재하는가?
• RQ4 PGCs와 강한 Rayleigh 분포 간의 관계는 무엇인가?
• RQ5 PGCs는 표준 밀도 추정 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• PGCs는 분해 가능 확률 회로(Decomposable Probabilistic Circuits)와 결정성 점진 과정(DPPs)보다 엄밀히 더 표현력이 뛰어나며, 그 조합으로도 포함되지 않는 단순한 클래스에 대해서도 마찬가지다.
• 가장 단순한 PGCs가 테스트된 밀도 추정 벤치마크의 절반에서 다른 추론 가능 확률 모델보다 뛰어난 성능을 보였다.
• PGCs는 커널 기반 표현을 통해 DPPs를 압축적으로 표현할 수 있으며, 이는 근접 커널 Kβ와 할당 커널 Lβ를 포함한다.
• PGCs는 가중치가 부여된 라플라스 행렬과 행렬-트리 정리를 활용하여 스패닝 트리 분포를 표현할 수 있으며, 이는 강한 Rayleigh 분포에 대한 유용성을 보여준다.
• PGCs는 생성 다항식의 구조를 통해 강한 Rayleigh 분포 이론과 연결되며, 이소드 모델과 지수화된 강한 Rayleigh 가족을 포함한다.
• 이 논문은 PGCs가 효율적인 마진 추론을 지원하며, 현재 모델을 초월한 새로운 종류의 추론 가능 추론 모델의 열린 길을 열었다.