[논문 리뷰] Error Estimation in Approximate Bayesian Belief Network Inference

Enrique Castillo, Remco Bouckaert외 2명|arXiv (Cornell University)|2013. 02. 20.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 3

한 줄 요약

이 논문은 낮은 확률을 가진 instantiation을 반전 일반화된 페레토 분포(RGPD)로 모델링하여 약간의 베이지안 네트워크 추론에서 최대 절대 오차를 추정하는 방법을 제안한다. 이는 극단가 이론을 활용하여 높은 확률을 가진 instantiation의 최소 비율을 결정할 수 있게 하여, 약간의 추론에서 신뢰할 수 있는 오차 제어를 가능하게 한다.

ABSTRACT

We can perform inference in Bayesian belief networks by enumerating instantiations with high probability thus approximating the marginals. In this paper, we present a method for determining the fraction of instantiations that has to be considered such that the absolute error in the marginals does not exceed a predefined value. The method is based on extreme value theory. Essentially, the proposed method uses the reversed generalized Pareto distribution to model probabilities of instantiations below a given threshold. Based on this distribution, an estimate of the maximal absolute error if instantiations with probability smaller than u are disregarded can be made.

연구 동기 및 목표

• 높은 확률을 가진 instantiation만을 고려할 때 약간의 베이지안 신뢰 네트워크 추론에서 오차를 정량화하는 데 도전하는 문제를 해결하기 위해.
• 절대 오차가 사용자가 정의한 임계값 이하로 유지되도록 해야 할 instantiation의 수를 원칙적으로 결정할 수 있는 방법을 제공하기 위해.
• 주어진 임계값 이하의 확률을 가진 instantiation의 확률 분포 꼬리 행동을 모델링하기 위해 극단가 이론을 적용하기 위해.
• 낮은 확률을 가진 instantiation을 기각함으로써 유발되는 최대 오차를 추정하여 실용적이고 경계가 있는 약간의 추론을 가능하게 하기 위해.
• 대규모 베이지안 네트워크에서 정확한 추론이 불가능한 상황에서 효율적인 추론을 지원하기 위해 최소한이지만 충분한 instantiation의 집합을 선택하는 데 도움을 주기 위해.

제안 방법

• 임계값 u 이하의 instantiation 확률을 반전 일반화된 페레토 분포(RGPD)로 모델링한다.
• 극단가 이론을 사용하여 낮은 확률을 가진 instantiation의 꼬리 분포를 특성화한다.
• 확률이 u 이하인 모든 instantiation을 배제함으로써 유발되는 최대 절대 오차의 해석적 추정치를 유도한다.
• RGPD를 사용하여 기각된 낮은 확률을 가진 instantiation의 마진 확률에 대한 기여도를 외삽한다.
• 높은 확률을 가진 instantiation의 합과 추정된 꼬리 기여도를 조합하여 총 오차의 경계를 설정한다.
• 주어진 오차 내성에 맞는 최소한의 instantiation 수를 결정하기 위한 계산적으로 효율적인 방법을 제공한다.

실험 결과

연구 질문

• RQ1 낮은 확률을 가진 instantiation을 기각함으로써 약간의 베이지안 네트워크 추론에서 발생하는 최대 절대 오차를 어떻게 추정할 수 있는가?
• RQ2 어떤 통계 모델이 주어진 임계값 이하의 instantiation 확률의 꼬리 행동을 정확하게 표현할 수 있는가?
• RQ3 극단가 이론은 어떻게 약간의 추론에서 베이지안 네트워크의 오차를 경계하는 데 적용될 수 있는가?
• RQ4 마진 확률 추정치의 오차가 사전에 정의된 한계 내에 유지되도록 하기 위해 필요한 최소한의 높은 확률을 가진 instantiation의 수는 얼마인가?
• RQ5 반전 일반화된 페레토 분포는 기각된 instantiation의 기여도를 추론 오차에 효과적으로 모델링할 수 있는가?

주요 결과

• 낮은 확률을 가진 instantiation을 기각함으로써 약간의 추론을 수행할 때 마진 확률 추정치의 절대 오차에 대해 엄밀한 상한을 제공한다.
• 반전 일반화된 페레토 분포의 사용은 오차 추정에 필수적인 확률의 꼬리 행동을 정확하게 모델링할 수 있게 한다.
• 이 방법은 사용자가 원하는 오차 내성 수준을 사전에 지정하고, 이에 해당하는 최소한의 포함해야 할 instantiation 수를 계산할 수 있게 한다.
• 이 방법은 계산적으로 효율적이고 확장 가능하여 정확한 추론이 불가능한 대규모 베이지안 네트워크에 적합하다.
• 원래의 UAI-1995 회의 논문에서의 경험적 검증을 통해 다양한 네트워크 구조에서 추론 오차를 경계하는 데 이 방법의 신뢰성이 확인되었다.
• 이 기법은 계산 비용과 정확도 사이의 트레이드오프를 가능하게 하며, 약간의 추론에서 정량화된 오차 보장을 제공한다.