[논문 리뷰] Computing Upper and Lower Bounds on Likelihoods in Intractable Networks

Tommi Jaakkola, Michael I. Jordan|arXiv (Cornell University)|2013. 02. 13.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 57

한 줄 요약

이 논문은 볼록 최적화와 선형 프로그래밍을 사용하여, 계산적으로 금기된 경우에 특히 시그모이드 및 노이즈-OR 모델을 포함한 비가역 베이지안 네트워크에서의 주변 우도에 대한 결정론적 경계를 제시한다. 정확한 추론이 계산적으로 불가능한 경우에 효율적으로 날카운 경계를 계산할 수 있으며, 수치 결과는 다양한 네트워크 구조에서 경계의 높은 날카움을 보여준다.

ABSTRACT

We present deterministic techniques for computing upper and lower bounds on marginal probabilities in sigmoid and noisy-OR networks. These techniques become useful when the size of the network (or clique size) precludes exact computations. We illustrate the tightness of the bounds by numerical experiments.

연구 동기 및 목표

• 큰 클리크 크기로 인해 정확한 추론이 계산적으로 불가능한 경우, 베이지안 네트워크에서 주변 우도를 계산하는 데 도전하는 것.
• 시그모이드 및 노이즈-OR 네트워크에서 주변 확률을 경계하는 결정론적이고 확장 가능한 기법을 개발하는 것.
• 계산적으로 처리 가능하고 경험적으로 날카운 경계를 제공하여 큰 또는 복잡한 네트워크에서 신뢰할 수 있는 추론을 가능하게 하는 것.
• 고정밀도 경계가 필요한 경우에 샘플링 기반 방법에 대한 실용적인 대안을 제공하는 것.

제안 방법

• 비가역 추론 문제를 처리 가능한 최적화 문제로 변환하기 위해 볼록 최적화 기법을 사용한다.
• 원래 확률 모델의 제약 조건을 완화하여 선형 프로그래밍을 적용하여 주변 확률의 상한과 하한을 계산한다.
• 실제 분할 함수를 처리 가능한 상한과 하한으로 근사하는 변분 공식을 활용한다.
• 시그모이드 및 노이즈-OR 네트워크의 구조를 활용하여 매개변수화된 최적화 기법을 통해 날카운 경계를 도출한다.
• 최적화의 이중 형식을 활용하여 다항 시간 내에 증명 가능하고 계산 가능한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 정확한 추론이 불가능한 베이지안 네트워크에서 주변 우도에 대한 신뢰할 수 있는 상한과 하한을 계산할 수 있는가?
• RQ2 실제 비가역 네트워크 구조에서 볼록 최적화 기법이 도출하는 경계의 날카움은 어느 정도인가?
• RQ3 선형 프로그래밍은 시그모이드 및 노이즈-OR 네트워크에서 주변 확률을 효과적으로 경계하는 데 사용될 수 있는가?
• RQ4 정밀도가 높은 경우에 제안된 경계 기법의 성능은 샘플링 기반 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 경계는 경험적으로 날카롭게 나타나며, 다양한 네트워크 구성에서 상한과 하한 간의 높은 일치를 수치 실험을 통해 보여준다.
• 정확한 추론에 비해 상당한 계산적 절감을 이룩하여 더 큰 네트워크로의 확장 가능성을 확보한다.
• 경계는 증명 가능하게 타당하며 다항 시간 내에 계산 가능하므로 실용적 구현에 적합하다.
• 고정밀도가 요구될 경우, 샘플링 기반 방법에 비해 경계의 날카움 측면에서 성능이 뛰어나다.