[논문 리뷰] Credal Networks under Maximum Entropy

Thomas Lukasiewicz|arXiv (Cornell University)|2013. 01. 16.

Bayesian Modeling and Causal Inference참고 문헌 35인용 수 17

한 줄 요약

이 논문은 신뢰 네트워크에서 유일한 결합 확률 분포를 유일하게 결정하기 위해 순차적 최대 엔트로피 접근법을 제안하며, 부정확한 확률 모델에서의 모호함을 해결한다. 이 방법이 전역 최대 엔트로피 원칙과 일치하는 局소 엔트로피 최대화를 수행함으로써, 일반적이고 간격 기반의 베이지안 네트워크를 포함한 모든 베이지안 네트워크에 대해 유일한 결합 분포를 도출함을 증명한다.

ABSTRACT

We apply the principle of maximum entropy to select a unique joint probability distribution from the set of all joint probability distributions specified by a credal network. In detail, we start by showing that the unique joint distribution of a Bayesian tree coincides with the maximum entropy model of its conditional distributions. This result, however, does not hold anymore for general Bayesian networks. We thus present a new kind of maximum entropy models, which are computed sequentially. We then show that for all general Bayesian networks, the sequential maximum entropy model coincides with the unique joint distribution. Moreover, we apply the new principle of sequential maximum entropy to interval Bayesian networks and more generally to credal networks. We especially show that this application is equivalent to a number of small local entropy maximizations.

연구 동기 및 목표

• 신뢰 네트워크에서 모호함을 제거하여 고유한 결합 확률 분포를 선택하기 위해.
• 최대 엔트로피 원칙을 일반 베이지안 네트워크와 간격 기반 모델로 확장하기 위해.
• 순차적 최대 엔트로피가 베이지안 트리에서 전역 최대 엔트로피와 동일한 결과를 도출함을 보여주기 위해.
• 새로운 방법이 신뢰 네트워크에서 국소 엔트로피 최대화와 동치임을 보여주기 위해.
• 부정확한 확률에 대한 추론을 위한 원칙적이고 계산적으로 실현 가능한 접근법을 제공하기 위해.

제안 방법

• 신뢰 네트워크와 호환되는 모든 분포 집합에서 고유한 결합 분포를 선택하기 위해 최대 엔트로피 원칙을 적용하기 위해.
• 위계적 순서로 노드를 처리하는 순차적 방법을 도입하여 최대 엔트로피 모델을 계산하기 위해.
• 베이지안 트리의 경우, 순차적 방법이 전역 최대 엔트로피와 동일한 분포를 복원함을 증명하기 위해.
• 일반 베이지안 네트워크로 접근을 확장하여, 순차적 최대 엔트로피가 고유한 결합 분포를 도출함을 보여주기 위해.
• 국소화된 엔트로피 최대화를 통해 간격 기반 베이지안 네트워크와 일반 신뢰 네트워크에 이 방법을 적용하기 위해.
• 전역 최대 엔트로피 해가 국소 엔트로피 최대화의 시리즈와 동치임을 보여주기 위해.

실험 결과

연구 질문

• RQ1 최대 엔트로피 원칙이 신뢰 네트워크에서 고유한 결합 분포를 유일하게 선택할 수 있는가?
• RQ2 순차적 최대 엔트로피 방법이 베이지안 트리에서 전역 최대 엔트로피와 동일한 결과를 도출하는가?
• RQ3 전역 방법이 실패하는 일반 베이지안 네트워크에 최대 엔트로피를 어떻게 적용할 수 있는가?
• RQ4 순차적 최대 엔트로피 모델은 신뢰 네트워크에서 국소 엔트로피 최대화와 동치인가?
• RQ5 이 방법은 간격 기반 베이지안 네트워크와 더 일반적인 신뢰 네트워크로 확장될 수 있는가?

주요 결과

• 베이지안 트리의 경우, 순차적 최대 엔트로피를 통해 유도된 고유한 결합 분포는 전역 최대 엔트로피 모델과 일치한다.
• 순차적 최대 엔트로피 방법은 모든 일반 베이지안 네트워크에 대해 고유한 결합 분포를 제공한다.
• 이 방법은 신뢰 네트워크에서 국소 엔트로피 최대화의 시리즈와 동치이다.
• 이 접근법은 최대 엔트로피를 간격 기반 베이지안 네트워크와 일반 신뢰 네트워크로 성공적으로 확장한다.
• 순차적 방법은 최대 엔트로피 원칙을 유지하면서도 계산적으로 타당성을 확보한다.
• 결과적으로, 불확실성 하에서의 부정확한 확률적 추론을 다루는 원칙적이고 효과적인 방법을 확립한다.