[论文解读] How to Elicit Many Probabilities

Linda C. van der Gaag, Silja Renooij+3 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 10被引用 100

一句话总结

本文提出了一种新颖的方法，可高效地从领域专家处获取贝叶斯信念网络中的大量概率值，结合数值尺度与语言锚点，并采用结构化转录技术。该方法在构建复杂癌症治疗影响图时显著缩短了获取概率的时间，证明了其在实际医疗应用中大规模概率建模的可行性。

ABSTRACT

In building Bayesian belief networks, the elicitation of all probabilities required can be a major obstacle. We learned the extent of this often-cited observation in the construction of the probabilistic part of a complex influence diagram in the field of cancer treatment. Based upon our negative experiences with existing methods, we designed a new method for probability elicitation from domain experts. The method combines various ideas, among which are the ideas of transcribing probabilities and of using a scale with both numerical and verbal anchors for marking assessments. In the construction of the probabilistic part of our influence diagram, the method proved to allow for the elicitation of many probabilities in little time.

研究动机与目标

• 解决在复杂医疗决策支持系统中贝叶斯网络大规模获取概率值的主要挑战。
• 克服现有获取方法耗时且不适用于大规模应用的局限性。
• 设计一种可扩展、用户友好的方法，支持领域专家快速且可靠地评估概率。
• 在涉及复杂影响图的临床实际场景中验证该方法，用于癌症治疗。
• 在不牺牲准确性或一致性的前提下，减少概率获取所需的时间和认知负荷。

提出的方法

• 该方法采用混合尺度，结合数值（例如 0–100%）与语言锚点（例如 '极不可能' 到 '极可能'），以提升专家的理解能力并降低认知负荷。
• 通过预定义的概率问题引导专家进行结构化获取会话，确保一致性和完整性。
• 该方法整合了转录技术，专家口头陈述其评估结果，随后被记录并映射到尺度上。
• 该方法支持批量获取多个条件概率，实现对大型网络的高效处理。
• 视觉辅助工具与标准模板的结合有助于在获取过程中保持清晰性并减少歧义。
• 该设计整合了反馈回路，允许专家审查并修改其评估结果，从而提高可靠性。

实验结果

研究问题

• RQ1 能否开发一种可扩展的方法，在合理的时间内从领域专家处获取数百个概率值？
• RQ2 结合语言与数值锚点在多大程度上影响专家提供概率的准确性与一致性？
• RQ3 与传统方法相比，该方法在多大程度上减少了概率获取所需的时间与精力？
• RQ4 该方法能否有效应用于涉及复杂概率依赖关系的真实临床决策支持系统？
• RQ5 结构化转录过程是否提升了获取概率的可靠性和可追溯性？

主要发现

• 该方法显著缩短了时间，在合理时间内成功获取了复杂癌症治疗影响图所需的大量概率值。
• 与纯数值方法相比，专家在使用结合语言与数值锚点的混合尺度时表现出更高的舒适度与清晰度。
• 结构化转录过程提高了专家评估的一致性与可追溯性。
• 该方法在真实临床环境中表现出强健性与实用性，支持构建详细的概率模型。
• 获取所需时间显著低于传统方法，证明了其在大型网络中的可扩展性。
• 该方法保持了高水平的专家参与度，并在长时间的获取会话中减轻了认知疲劳。