[논문 리뷰] Strudel: Learning Structured-Decomposable Probabilistic Circuits

Meihua Dang, Antonio Vergari외 1명|arXiv (Cornell University)|2020. 07. 18.

Bayesian Modeling and Causal Inference참고 문헌 33인용 수 6

한 줄 요약

Strudel은 혼합 구성 요소 간의 결정성과 공유된 계산 그래프를 활용하여 구조적 분해 가능한 확률적 회로(PC)를 위한 빠르고 정확하며 확장 가능한 학습 알고리즘을 제안한다. 단일 PC 및 앙상블 학습 모두에서 LearnPsdd보다 뛰어난 성능을 보이며, 훨씬 더 짧은 학습 시간과 혼합 가능성 계산에서 수개의 주기 차이로 빠른 속도 향상을 제공한다.

ABSTRACT

Probabilistic circuits (PCs) represent a probability distribution as a computational graph. Enforcing structural properties on these graphs guarantees that several inference scenarios become tractable. Among these properties, structured decomposability is a particularly appealing one: it enables the efficient and exact computations of the probability of complex logical formulas, and can be used to reason about the expected output of certain predictive models under missing data. This paper proposes Strudel, a simple, fast and accurate learning algorithm for structured-decomposable PCs. Compared to prior work for learning structured-decomposable PCs, Strudel delivers more accurate single PC models in fewer iterations, and dramatically scales learning when building ensembles of PCs. It achieves this scalability by exploiting another structural property of PCs, called determinism, and by sharing the same computational graph across mixture components. We show these advantages on standard density estimation benchmarks and challenging inference scenarios.

연구 동기 및 목표

• 복잡한 질의에 대해 추론이 가능하도록 하는 구조적 분해 가능한 확률적 회로(PC)에 대한 효율적이고 정확한 학습 알고리즘이 부족한 문제를 해결하기 위해.
• LearnPsdd와 같은 기존 방법들이 비용이 많이 드는 국소 탐색을 수행하고 vtree 학습을 회로 학습과 별도로 처리함으로써 발생하는 확장성과 비효율성 문제를 해결하기 위해.
• 결정성과 공유된 계산 구조를 활용하여 단일 PC와 대규모 PC 앙상블 모두를 신속하고 정확하게 학습할 수 있도록 하기 위해.
• 공유된 구조를 가진 PC 혼합 모델이 훨씬 줄어든 학습 시간으로도 높은 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 후보 구조의 정벌된 가능도 점수를 평가하는 대신, 탐색 비용을 크게 줄이는 그리디 회로 성장 전략을 사용한다.
• 구조적 보장이 있는 가장 좋은 추론 가능한 확률 모델을 사용하여 PC 구조를 초기화함으로써 별도의 vtree 학습이 필요 없도록 한다.
• 구조적 분해 가능성과 결정성을 모두 강제하여 추론의 가능성을 유지하면서도 모델의 표현력을 유지한다.
• 혼합 모델의 경우, 구성 요소 간에 동일한 계산 그래프를 공유함으로써 EM 또는 백킹을 사용한 EM(BEM)을 통한 효율적인 파라미터 학습을 가능하게 한다.
• 혼합 가능도 계산을 위해 회로 흐름 방식을 사용하여 기존 평가 방법 대비 최대 4,591배 빠른 속도 향상을 달성한다.
• 혼합 모델의 모든 구성 요소에서 동일한 vtree 구조를 재사용함으로써 구조적 일관성과 계산 효율성을 보장한다.

실험 결과

연구 질문

• RQ1 정확도를 희생하지 않고도 구조적 분해 가능한 확률적 회로(PC)를 위한 더 단순하고 빠른 학습 알고리즘을 설계할 수 있는가?
• RQ2 결정성과 공유된 계산 그래프의 통합이 PC 앙상블 학습의 확장성에 어떻게 기여하는가?
• RQ3 표준 벤치마크에서 Strudel이 LearnPsdd에 비해 가능도, 학습 시간, 추론 효율성 측면에서 어느 정도 뛰어나게 되는가?
• RQ4 Strudel로 학습된 공유된 구조를 가진 PC 혼합 모델은 낮은 학습 오버헤드를 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ5 Strudel로 학습된 PC는 결측 데이터 하에서 예측의 기대값을 계산하는 등의 고급 확률 질의에 얼마나 효과적으로 대응할 수 있는가?

주요 결과

• Strudel은 20개의 표준 밀도 추정 벤치마크 중 16개에서 LearnPsdd보다 높은 가능도를 달성하며, 수렴 속도가 훨씬 빠르다.
• Strudel의 반복 단계는 LearnPsdd의 반복 단계보다 최소 한 계단 이상 더 빠르며, 더 적은 반복 수로 동일하거나 더 뛰어난 성능을 달성한다.
• 결측 데이터 하에서 예측의 기대값을 계산하는 도전적인 과제에서, Strudel과 그 앙상블 버전인 Strudel-BEM이 중앙값 보정 방식을 능가하며 모든 결측 데이터 비율에서 RMSE를 감소시킨다.
• Strudel-EM은 20개 데이터셋 중 15개에서 LearnPsdd-EM을 능가하고, Strudel-BEM은 11개 데이터셋에서 LearnPsdd-BEM을 능가한다. 이는 Strudel의 공유 구조 제약에도 불구하고 성능이 뛰어나다는 것을 의미한다.
• 혼합 가능도 계산을 위한 회로 흐름 방식은 기존 평가 방법 대비 최대 4,591배 더 빠르며, 대규모 PC 앙상블의 효율적 학습을 가능하게 한다.
• Strudel은 구성 요소 간에 동일한 계산 그래프를 공유함으로써 PC 혼합 모델의 확장 가능한 학습을 가능하게 하여 독립적 구조 학습 대비 학습 시간을 극적으로 단축시킨다.