[논문 리뷰] How long, O Bayesian network, will I sample thee? : A program analysis perspective on expected sampling times

Kevin Batz, Benjamin Lucien Kaminski외 2명|arXiv (Cornell University)|2018. 01. 01.

Bayesian Modeling and Causal Inference참고 문헌 46인용 수 4

한 줄 요약

이 논문은 베이지안 네트워크(BNs)의 거부 샘플링 하에서 정확한 기대 샘플링 시간(EST)을 계산하기 위한 완전 자동화된 프로그램 분석 기반 방법을 제시한다. 이 방법은 BN을 확률적 프로그램 조각으로 변환하고, 가장 약한 전조건(strengthened precondition) 스타일의 추론을 적용함으로써 이를 달성한다. 이 접근법은 샘플링 효율성에 대한 정밀한 폐쇄형 추정을 가능하게 하며, EST가 10^18을 초과하는 경우가 있음을 드러내어 샘플링이 비현실적이며 정확한 추론이 더 바람직한 경우가 있음을 시사한다.

ABSTRACT

Bayesian networks (BNs) are probabilistic graphical models for describing complex joint probability distributions. The main problem for BNs is inference: Determine the probability of an event given observed evidence. Since exact inference is often infeasible for large BNs, popular approximate inference methods rely on sampling. We study the problem of determining the expected time to obtain a single valid sample from a BN. To this end, we translate the BN together with observations into a probabilistic program. We provide proof rules that yield the exact expected runtime of this program in a fully automated fashion. We implemented our approach and successfully analyzed various real-world BNs taken from the Bayesian network repository.

연구 동기 및 목표

• 잘 조절되지 않은 증거 하에서 거부 샘플링을 통한 베이지안 네트워크의 기대 샘플링 시간을 추정하는 데 있어 중요한 과제를 해결하기 위해.
• 사용자 제공의 불변식, 마팅게일, 히وري스틱이 필요 없이 정확한 기대 샘플링 시간을 계산하는 완전 자동화된 방법을 개발하기 위해.
• 샘플링 기반 추론이 기대 샘플링 시간이 매우 높아 비현실적이게 되는 BN을 조기에 탐지할 수 있도록 하기 위해.
• BN에서 유도된 확률적 프로그램의 기대 실행 시간에 대해 형식적이고 검증 가능한 틀을 제공하기 위해.

제안 방법

• 관측된 증거가 있는 베이지안 네트워크를 조건부 확률 표를 프로그램 구성요소로 유지하는 확률적 프로그램의 문법 조각(BNL)으로 변환하기.
• 기대 실행 시간(ERT)에 대한 가장 약한 전조건(wp) 미분법과 증명 규칙을 적용하여 기대 샘플링 시간의 폐쇄형 표현식 유도하기.
• 조건문 및 루프와 같은 확률적 제어 구조를 통해 기대값을 역방향으로 전파하여 조합적으로 정확한 ERT 계산하기.
• 가드 평가와 난수 할당을 계산 단위로 세는 형식적 런타임 모델을 활용하기.
• BN을 Bayesian Network Interchange Format(BIF)로 파싱하고 유도된 증명 규칙을 사용해 EST를 계산하는 자바 프로토타입을 구현하기.
• 기대값 크기의 급격한 증가로 인해 복잡한 BN에서 메모리 제약이 발생할 수 있는 경우를 고려해 기호적 연산을 통해 지수적 최악의 경우 복잡도 처리하기.

실험 결과

연구 질문

• RQ1 거부 샘플링 하에서 베이지안 네트워크로부터 단일 유효 샘플을 확보하는 데 필요한 정확한 기대 시간은 무엇인가?
• RQ2 사용자 제공의 불변식이나 보조 증명 구조 없이도 이 기대 샘플링 시간을 자동으로 계산할 수 있는가?
• RQ3 실제 응용 분야의 베이지안 네트워크에서 기대 샘플링 시간은 어떻게 변화하며, 언제 비현실적인 계산 복잡도에 이를까?
• RQ4 프로그램 분석 기법을 사용하여 베이지안 네트워크의 샘플링 기반 추론의 성능을 형식적으로 검증하고 정량화할 수 있는가?

주요 결과

• 매개변수 a에 대해 단순한 BN의 경우, a > 0.95가 되자 기대 샘플링 시간이 급격히 증가하여 최대 300개의 샘플에 이를 정도로 증거 조건화에 민감함을 보였다.
• 베이지안 네트워크 레포지토리에서 얻은 실제 BN들에서 기대 샘플링 시간이 10^18을 초과하는 경우가 발견되어 샘플링 기반 추론이 비현실적이었다.
• 17개의 관측값을 가진 win95pts BN의 경우, EST가 1.11×10^15로 계산되어 실제 기계에서 약 3.6년의 기대 실행 시간을 나타내었고, 정확한 추론은 거의 즉각적으로 이루어졌다.
• 13개의 관측 노드를 가진 한 사례에서는 도구가 0.32초 내로 약 430만 년에 해당하는 EST를 계산하여, 이 방법의 효율성과 실용적 유용성을 입증했다.
• 프로토타입은 최대 1041개의 노드를 가진 BN들에 대해서도 정확한 기대 샘플링 시간을 성공적으로 계산하여, 지수적 최악의 경우 복잡도에도 불구하고 확장성을 입증했다.
• 이 방법은 심지어 중간 정도로 복잡한 BN들이라도 기대 샘플링 시간이 너무 크기 때문에 정확한 추론이 더 실현 가능한 선택이 되는 경우가 있음을 드러냈다.