[논문 리뷰] Combination of Evidence Using the Principle of Minimum Information Gain

Michael S. K. M. Wong, Pawan Lingras|arXiv (Cornell University)|2013. 03. 27.

Adversarial Robustness in Machine Learning참고 문헌 6인용 수 4

한 줄 요약

이 논문은 최소 정보 증가 원리를 바탕으로 한 새로운 증거 조합 방법을 제안하며, 신뢰 융합 과정에서의 정보 손 失를 최소화한다. 이는 베이즈의 법칙과 덴프스터 규칙을 일반화하며, 일관된 증거에서 신뢰가 단조적으로 증가하고 불확실성 추론 시스템에서 더 견고한 갈등 탐지 메커니즘을 제공한다.

ABSTRACT

One of the most important aspects in any treatment of uncertain information is the rule of combination for updating the degrees of uncertainty. The theory of belief functions uses the Dempster rule to combine two belief functions defined by independent bodies of evidence. However, with limited dependency information about the accumulated belief the Dempster rule may lead to unsatisfactory results. The present study suggests a method to determine the accumulated belief based on the premise that the information gain from the combination process should be minimum. This method provides a mechanism that is equivalent to the Bayes rule when all the conditional probabilities are available and to the Dempster rule when the normalization constant is equal to one. The proposed principle of minimum information gain is shown to be equivalent to the maximum entropy formalism, a special case of the principle of minimum cross-entropy. The application of this principle results in a monotonic increase in belief with accumulation of consistent evidence. The suggested approach may provide a more reasonable criterion for identifying conflicts among various bodies of evidence.

연구 동기 및 목표

• 의존성 또는 부분적 의존성을 가진 증거를 융합할 때 덴프스터 규칙의 한계를 해결하기 위해.
• 융합 과정에서 정보 증가를 최소화하는 원칙적인 증거 융합 방법을 개발하기 위해.
• 정보 이론적 프레임워크를 공통 기반으로 삼아 베이지안 및 신뢰 기능 접근법을 통합하기 위해.
• 증거가 축적됨에 따라 일관되고 단조적인 신뢰 업데이트를 보장하기 위해.
• 다중 증거 소스 간의 갈등을 탐지하기 위한 더 신뢰할 수 있는 기준을 제공하기 위해.

제안 방법

• 이 방법은 다수의 소스로부터의 병합된 신뢰 함수를 결정하기 위해 최소 정보 증가 원리를 사용한다.
• 증거에서 유도된 제약 조건 하에 교차 엔트로피를 최소화하는 최적화 문제로 조합을 수립한다.
• 해결책이 최대 엔트로피 형식과 동치임을 보여주며, 정보 왜곡을 최소화한다.
• 완전한 조건부 확률이 알려져 있을 경우 이는 베이즈 법칙으로 축소되고, 정규화가 1일 경우 덴프스터 규칙으로 축소된다.
• 일관된 새로운 증거가 추가될 때 신뢰 업데이트의 일관성과 단조성을 유지한다.
• 이 방법은 정보 이론적 원리를 사용하여 유도되며, 특히 최소 교차 엔트로피에 중점을 둔다.

실험 결과

연구 질문

• RQ1 융합 과정에서 정보 손실을 최소화할 수 있는 증거 조합 방법은 무엇인가?
• RQ2 베이지안 및 덴프스터-샤퍼 조합 규칙을 일반화하는 통합 프레임워크를 개발할 수 있는가?
• RQ3 최소 정보 증가 원칙은 일관된 증거에서 단조적인 신뢰 증가를 이끌어내는가?
• RQ4 제안된 방법은 증거 소스 간의 갈등 탐지에 어떻게 향상되는가?
• RQ5 최소 정보 증가와 최대 엔트로피 간의 관계는 신뢰 조합에서 어떻게 나타나는가?

주요 결과

• 제안된 방법은 일관된 증거가 축적됨에 따라 신뢰가 단조적으로 증가함을 보장하여, 일부 조합 규칙에서 관찰되는 직관에 어긋나는 결과를 방지한다.
• 이 방법은 수학적으로 최대 엔트로피 형식과 동치이며, 견고한 이론적 기반을 제공한다.
• 조건부 확률의 가용성 또는 정규화 제약 조건에 따라 이는 베이즈 법칙과 덴프스터 규칙의 특수한 경우로 일반화된다.
• 정보 증가를 최소화함으로써 증거 소스 간의 갈등을 식별하는 데 더 견고한 메커니즘을 제공한다.
• 기존의 신뢰 상태가 왜곡되지 않도록 정보 이론적 원리에 기반한 해법을 도출한다.
• 제한된 의존성 가정 하에서도 신뢰 융합의 일관성과 합리성을 유지한다.