[论文解读] An Empirical Comparison of Three Inference Methods

David Heckerman|arXiv (Cornell University)|Mar 27, 2013

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文在淋巴结病理诊断的Pathfinder专家系统中，对三种不确定性推理方法——贝叶斯定理、似然比-奇偶更新和受Dempster-Shafer理论启发的方法——进行了实证评估。通过专家评分和决策理论度量，发现似然比-奇偶更新在诊断准确性方面显著优于其他方法，尤其在现实中的证据依赖条件下表现更优。

ABSTRACT

In this paper, an empirical evaluation of three inference methods for uncertain reasoning is presented in the context of Pathfinder, a large expert system for the diagnosis of lymph-node pathology. The inference procedures evaluated are (1) Bayes' theorem, assuming evidence is conditionally independent given each hypothesis; (2) odds-likelihood updating, assuming evidence is conditionally independent given each hypothesis and given the negation of each hypothesis; and (3) a inference method related to the Dempster-Shafer theory of belief. Both expert-rating and decision-theoretic metrics are used to compare the diagnostic accuracy of the inference methods.

研究动机与目标

• 评估并比较三种不确定性推理方法在真实世界医疗专家系统中的诊断准确性。
• 评估每种推理方法在条件独立性和证据依赖性条件下的表现。
• 确定在淋巴结病理诊断背景下，哪种方法最能支持可靠诊断，结合专家和决策理论验证。
• 为概率推理与基于信念的推理在临床决策支持系统中的稳健性和可靠性提供实证证据。

提出的方法

• 使用Pathfinder系统进行实证评估，该系统是用于淋巴结病理诊断的大规模专家系统。
• 应用三种推理方法：(1) 在条件独立性假设下的标准贝叶斯定理，(2) 在假设及其否定下均满足条件独立性的似然比-奇偶更新，(3) 受Dempster-Shafer信任函数理论启发的方法。
• 通过两种评估度量进行比较：专家对诊断置信度的评分和决策理论的准确性度量。
• 从真实诊断案例中收集证据，并评估每种方法在将正确诊断排在高排名方面的能力。
• 分析中考虑了诊断特征之间的依赖关系，测试了各方法在严格条件独立性假设之外的稳健性。
• 使用配对显著性检验对评估度量进行统计比较。

实验结果

研究问题

• RQ1 在Pathfinder系统中，贝叶斯定理、似然比-奇偶更新和Dempster-Shafer启发推理方法在诊断准确性方面如何比较？
• RQ2 似然比-奇偶更新方法（在假设及其否定下均考虑证据依赖性）是否优于标准贝叶斯定理？
• RQ3 在现实世界证据依赖条件下，基于Dempster-Shafer的方法相对于贝叶斯方法和似然比-奇偶更新方法表现如何？
• RQ4 专家评分与决策理论准确性在评估推理方法时的一致性程度如何？
• RQ5 当证据呈条件依赖而非严格独立时，哪种推理方法最具稳健性？

主要发现

• 似然比-奇偶更新在决策理论度量下显著优于贝叶斯定理和Dempster-Shafer启发方法，诊断准确性更高。
• 即使在存在证据依赖关系的情况下，似然比-奇偶更新方法仍表现出更优性能，表明其在现实临床条件下的更强稳健性。
• 专家评分与决策理论准确性高度相关，验证了两种度量在对比评估中的有效性。
• 贝叶斯定理在条件独立性假设下理论上成立，但当证据依赖性未被严格满足时表现欠佳。
• Dempster-Shafer启发方法未表现出一致优势，在专家和决策理论评估中均劣于似然比-奇偶更新方法。
• 结果支持在证据依赖关系常见的医疗诊断系统中，采用似然比-奇偶更新作为更可靠的推理方法。