[논문 리뷰] Large Deviation Methods for Approximate Probabilistic Inference

Michael Kearns, Lawrence K. Saul|arXiv (Cornell University)|2013. 01. 30.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 51

한 줄 요약

이 논문은 이元의 이진 변수와 단조 조건부 확률 함수를 가진 대규모 두 층의 신뢰망에서 마진 확률의 엄밀한 상한과 하한을 유도하기 위해 대규모 이산 이론을 제시한다. 대규모 이산 이론을 활용하여 네트워크 크기의 변화에 따라 이러한 상한과 하한의 수렴 속도를 규명하며, 시그모이드 및 노이즈가 있는-OR과 같은 일반적인 파rameterization에 적용 가능하여, 대규모 네트워크에서 평균화 행동이 추론을 어떻게 단순화하는지 드러낸다.

ABSTRACT

We study two-layer belief networks of binary random variables in which the conditional probabilities Pr[childlparents] depend monotonically on weighted sums of the parents. In large networks where exact probabilistic inference is intractable, we show how to compute upper and lower bounds on many probabilities of interest. In particular, using methods from large deviation theory, we derive rigorous bounds on marginal probabilities such as Pr[children] and prove rates of convergence for the accuracy of our bounds as a function of network size. Our results apply to networks with generic transfer function parameterizations of the conditional probability tables, such as sigmoid and noisy-OR. They also explicitly illustrate the types of averaging behavior that can simplify the problem of inference in large networks.

연구 동기 및 목표

• 이진 변수를 가진 대규모 두 층의 신뢰망에서 정확한 확률 추론이 불가능한 문제를 다루기 위해.
• 대규모 네트워크에서 Pr[자식]과 같은 마진 확률을 근사화하기 위한 계산적으로 실현 가능한 방법을 개발하기 위해.
• 대규모 이산 이론을 사용하여 이러한 확률의 엄밀한 상한과 하한을 도출하기 위해.
• 네트워크 크기가 증가함에 따라 경계의 수렴 속도를 특성화하기 위해.
• 대규모 네트워크에서 부모 변수의 평균화 행동이 추론 문제를 어떻게 단순화하는지 설명하기 위해.

제안 방법

• 두 층의 신뢰망에서 부모 변수의 가중합의 尾행동을 분석하기 위해 대규모 이산 이론을 활용한다.
• 크라머의 정리 및 관련 대규모 이산 원리를 적용하여 네트워크 내 희귀 사건의 확률에 대한 지수적 경계를 유도한다.
• 부모 구성의 모멘트 생성 함수를 기반으로 마진 확률 Pr[자식]에 대한 상한과 하한을 유도한다.
• 일반적인 단조 전이 함수—예를 들어 시그모이드 및 노이즈가 있는-OR—를 사용하여 조건부 확률을 파라미터화한다.
• 대규모 이산 이론의 속도 함수를 사용하여 네트워크 크기의 함수로 경계 정확도의 수렴 속도를 확립한다.
• 부모 영향의 합이 자식 확률을 결정하는 상호작용하는 랜덤 변수의 시스템으로 네트워크를 간주한다.

실험 결과

연구 질문

• RQ1 정확한 추론이 불가능한 대규모 두 층의 신뢰망에서 마진 확률을 효율적으로 경계할 수 있는 방법은 무엇인가?
• RQ2 이러한 경계의 이론적 정확도는 무엇이며, 네트워크 크기가 증가함에 따라 수렴하는 방식은 어떻게 되는가?
• RQ3 어떤 종류의 네트워크 구조와 조건부 확률 파라미터화 방식이 이러한 경계를 허용하는가?
• RQ4 부모 변수의 평균화 행동은 대규모 네트워크에서 추론을 어떻게 단순화하는가?
• RQ5 대규모 이산 방법은 실용적인 추론 작업에 대해 엄밀하고 비점근적인 경계를 제공할 수 있는가?

주요 결과

• 논문은 대규모 이산 원리를 사용하여 Pr[자식]과 같은 마진 확률에 대한 엄밀한 상한과 하한을 도출한다.
• 네트워크 크기의 함수로 경계 정확도의 수렴 속도가 확립되며, 오차 확률의 지수적 감소를 보인다.
• 이 경계는 시그모이드 및 노이즈가 있는-OR 함수를 포함한 일반적인 단조 파라미터화에 대해 유효하다.
• 이 방법은 대규모 네트워크에서 평균화 효과가 측도 집중을 유도하여 추론을 단순화시킴을 드러낸다.
• 대규모 이산 이론의 속도 함수는 경계의 정밀도를 정량화하고 다양한 네트워크 구성 간 비교를 가능하게 한다.
• 이 접근법은 오차 제어가 보장되는 스케일러블한 근사 추론을 위한 이론적 기반을 제공한다.