[논문 리뷰] Tractable Querying and Learning in Hybrid Domains via Sum-Product Networks

Andreas Bueff, Stefanie Speichert외 1명|arXiv (Cornell University)|2018. 07. 14.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 11

한 줄 요약

이 논문은 조각 다항식 근사법을 사용하여 임의의 형상의 밀도 함수를 근사함으로써 하이브리드 이산-연속 도메인에서의 추론과 학습을 가능하게 하는 프레임워크를 제안한다. 이는 합-곱 신경망(SPNS)과 가중 모델 통합(WMI)을 통합함으로써, 기존 SPN의 구조 학습에 간섭을 최소화하면서도 복잡한 간격 쿼리에 대해 효율적이고 정확한 추론을 가능하게 한다. 이는 비모수적이고 확장 가능한 연속 특성 모델링을 통해 높은 예측 성능을 달성한다.

ABSTRACT

Probabilistic representations, such as Bayesian and Markov networks, are fundamental to much of statistical machine learning. Thus, learning probabilistic representations directly from data is a deep challenge, the main computational bottleneck being inference that is intractable. Tractable learning is a powerful new paradigm that attempts to learn distributions that support efficient probabilistic querying. By leveraging local structure, representations such as sum-product networks (SPNs) can capture high tree-width models with many hidden layers, essentially a deep architecture, while still admitting a range of probabilistic queries to be computable in time polynomial in the network size. The leaf nodes in SPNs, from which more intricate mixtures are formed, are tractable univariate distributions, and so the literature has focused on Bernoulli and Gaussian random variables. This is clearly a restriction for handling mixed discrete-continuous data, especially if the continuous features are generated from non-parametric and non-Gaussian distribution families. In this work, we present a framework that systematically integrates SPN structure learning with weighted model integration, a recently introduced computational abstraction for performing inference in hybrid domains, by means of piecewise polynomial approximations of density functions of arbitrary shape. Our framework is instantiated by exploiting the notion of propositional abstractions, thus minimally interfering with the SPN structure learning module, and supports a powerful query interface for conditioning on interval constraints. Our empirical results show that our approach is effective, and allows a study of the trade off between the granularity of the learned model and its predictive power.

연구 동기 및 목표

• 하이브리드 데이터에서 연속 변수에 대해 제한적인 비모수적 분포(예: 정규분포, 베르누이분포)에 의존하는 기존 SPN 프레임워크의 한계를 해결하기 위해.
• 혼합 이산-연속 도메인에서 복잡한 간격 제약 조건에 대해 추론 가능하고 정확한 확률적 추론을 가능하게 하기 위해.
• 임의의 밀도 형상에 대한 조각 다항식 근사를 통해 연속 특성의 비모수적 모델링을 지원하기 위해.
• 기존 SPN의 구조 학습 파ip라인과의 호환성을 유지하기 위해 아키텍처 수정을 최소화하기 위해.
• 가중 모델 통합을 사용하여 연속 및 하이브리드 분포에 대한 추론을 위한 확장 가능하고 쿼리 효율적인 인터페이스를 제공하기 위해.

제안 방법

• 표준 단변량 리프 분포를 임의의 연속 밀도 함수의 조각 다항식 근사로 대체함으로써 SPN의 구조 학습을 확장한다.
• 추론을 위한 계산 추상화로 가중 모델 통합(WMI)을 사용하며, 간격을 문장 논리 원소로 매핑한다.
• 논리 추상화를 통해 WMI와 SPN 추론을 연결하여, 기존의 문장 논리 솔버를 활용한 효율적 계산을 가능하게 한다.
• 쿼리에서 임의의 간격 제약 조건(예: 겹치는, 중첩된 간격 등)을 지원하며, 밀도 근사의 박스에 정렬되지 않은 간격도 가능하다.
• 비모수적 연속 성분을 갖는 SPN의 엔드 투 엔드 비지도 학습을 유지하면서도 추론의 타당성을 유지한다.
• 다항식 근사의 정밀도와 차수를 조절함으로써 모델링에 비모수적 및 모수적 접근 방식을 모두 지원한다.

실험 결과

연구 질문

• RQ1 SPN은 지수족을 초월하는 임의의 연속 분포(예: 비정규분포 또는 비모수적 밀도)를 모델링할 수 있는가?
• RQ2 하이브리드 도메인에서 연속 변수에 대한 복잡한 간격 쿼리에 대해 추론의 타당성을 유지하면서 어떻게 보장할 수 있는가?
• RQ3 조각 다항식 근사를 사용할 경우, 기존의 모수적 가정에 비해 모델링 정확도가 얼마나 향상되는가?
• RQ4 WMI와 SPN의 통합은 이산 및 연속 변수를 포함한 복잡한 조건부 쿼리에 대해 효율적이고 정확한 추론을 가능하게 하는가?
• RQ5 실제로 모델의 정밀도(박스 수, 다항식 차수)와 예측 성능 사이의 상호 작용은 어떻게 나타나는가?

주요 결과

• 제안된 WMISPN 프레임워크는 하이브리드 데이터셋에서 높은 예측 성능을 달성하였으며, 정규화된 로그우도가 기준선 SPN 방법과 유사하거나 이를 초월하였다.
• 복잡한 쿼리의 추론 시간은 나노초 수준을 유지하며, 쿼리 길이가 증가함에 따라 선형적으로 증가하여 효율성과 확장성을 입증하였다.
• 혼합된 연속 및 이산 원소를 포함한 풍부한 간격 쿼리도 지원하며, 성능 저하 없이 처리 가능했다.
• 각 특성당 5개의 박스로 설정했을 때, Cloud 데이터셋의 픽셀 평균 특성의 첫 번째 박스에 대해 3차 다항식 근사를 학습하였으며, 15개의 박자로 설정했을 땐 4차 다항식 근사를 학습하여 유연한 정밀도 조절이 가능함을 보였다.
• 조각 다항식 근사를 통해 연속 특성의 비모수적 모델링이 가능하면서도 추론의 타당성을 유지하며, 임의의 밀도 형상을 다항식 근사를 통해 효과적으로 표현할 수 있었다.
• 실험 결과는 정밀도와 예측 능력 사이의 상호 작용이 높은 박스 수에서 효과적으로 균형을 이루고 있음을 확인하였으며, 더 높은 박스 수에서 더 높은 모델 정밀도를 달성함을 입증하였다.