[論文レビュー] Combination of Evidence Using the Principle of Minimum Information Gain

Michael S. K. M. Wong, Pawan Lingras|arXiv (Cornell University)|Mar 27, 2013

Adversarial Robustness in Machine Learning参考文献 6被引用数 4

ひとこと要約

本稿では、最小情報増加の原則に基づく新しい証拠結合手法を提案する。この手法は、信念融合過程における情報損失を最小限に抑える。ベイズの定理とデムプスター則の両方を一般化し、一貫した証拠に対して信念の単調増加を保証するとともに、不確実性推論システムにおけるより強固な衝突検出メカニズムを提供する。

ABSTRACT

One of the most important aspects in any treatment of uncertain information is the rule of combination for updating the degrees of uncertainty. The theory of belief functions uses the Dempster rule to combine two belief functions defined by independent bodies of evidence. However, with limited dependency information about the accumulated belief the Dempster rule may lead to unsatisfactory results. The present study suggests a method to determine the accumulated belief based on the premise that the information gain from the combination process should be minimum. This method provides a mechanism that is equivalent to the Bayes rule when all the conditional probabilities are available and to the Dempster rule when the normalization constant is equal to one. The proposed principle of minimum information gain is shown to be equivalent to the maximum entropy formalism, a special case of the principle of minimum cross-entropy. The application of this principle results in a monotonic increase in belief with accumulation of consistent evidence. The suggested approach may provide a more reasonable criterion for identifying conflicts among various bodies of evidence.

研究の動機と目的

• 従来のデムプスター則が従属的または部分的に従属的な証拠を結合する際に示す限界を解消すること。
• 融合過程における情報増加を最小限に抑える、原理的かつ整合的な不確実証拠の結合手法の開発。
• ベイズ的手法と信念関数的手法を、共通の情報理論的枠組みの下で統合すること。
• 証拠が蓄積されるに従い、一貫性のある信念の更新が単調に進行することを保証すること。
• 複数の証拠源間の衝突をより信頼性の高い基準で検出するための手法の提供。

提案手法

• 本手法は、複数の証拠源からの結合信念関数を決定するために、最小情報増加の原則を用いる。
• 証拠から導かれる制約の下で交差エントロピーを最小化する最適化問題として組み合わせを定式化する。
• 解が最大エントロピー形式と同等であることが示され、情報歪みを最小限に抑える。
• 完全な条件付き確率が既知の場合、本手法はベイズ則に還元され、正規化が1に等しい場合、デムプスター則に還元される。
• 一貫した新たな証拠が追加される際、信念の更新が一貫性と単調性を保つ。
• 本手法は情報理論的原則、特に最小交差エントロピーに基づいて導出される。

実験結果

リサーチクエスチョン

• RQ1 融合過程における情報損失を最小限に抑える証拠の結合方法は何か？
• RQ2 ベイズ則とデムプスター＝シャーマー則の両方を一般化する統一的枠組みを構築できるか？
• RQ3 最小情報増加の原則は、一貫した証拠に対して信念の単調増加をもたらすか？
• RQ4 提案手法は、証拠源間の衝突検出をどのように改善するか？
• RQ5 最小情報増加と最大エントロピーの関係は、信念結合においてどのように規定されるか？

主な発見

• 提案手法は、一貫した証拠が蓄積されるに従い信念が単調に増加することを保証し、一部の結合則で見られる直感に反する結果を回避する。
• 本手法は数学的に最大エントロピー形式と同等であり、堅固な理論的基盤を提供する。
• 条件付き確率の可用性や正規化制約の有無に応じて、ベイズ則とデムプスター則の特殊ケースとして一般化される。
• 情報増加を最小化することで、証拠源間の衝突をより強固に特定するメカニズムを提供する。
• 解は情報理論的原則に基づいて導出され、既存の信念状態の歪みを最小限に抑える。
• 本手法は、依存関係の制限がある状況下でも、信念融合における一貫性と合理性を維持する。