[论文解读] Likelihood Ratio as Weight of Forensic Evidence: A Metrological Perspective

Steven P. Lund, Hari Iyer|arXiv (Cornell University)|Aug 26, 2016

Time Series Analysis and Forecasting参考文献 14被引用 3

一句话总结

本文挑战了将似然比（LR）作为可转移的法医学证据权重度量的规范用法，认为似然比作为内在主观的工具，若缺乏全面的不确定性表征，则缺乏计量学严谨性。本文提出，法医专家应改而采用透明、基于假设的分析方法，借助如‘假设矩阵’和‘不确定性金字塔’等工具，支持决策者形成自身解读，而非宣称似然比具有客观测量地位。

ABSTRACT

In this article we provide a rebuttal against the possible perception that a single number, such as the Likelihood Ratio, can provide an objective, authoritative or definitive weight of evidence. We also illustrate the extent to which conclusions can vary depending on the assumptions used in the analysis, even under alternative assumptions that are judged to be consistent with available empirical information. To facilitate these goals, we introduce the notion of a Lattice of Assumptions and an Uncertainty Pyramid illustrated in the context of a previously published example involving glass evidence. We take the position that rather than focusing on a single number summary as the weight of evidence it is the duty of the forensic expert to assist the trier of fact in forming their own interpretations from a clear understanding of the objective and demonstrably available information. We hope the presented arguments will inspire those in the forensic science community to pursue establishing their practice on a solid foundation of measurement science.

研究动机与目标

• 挑战当前规范性观点，即法医专家应向决策者报告单一似然比（LR）作为‘证据权重’。
• 强调似然比作为主观贝叶斯构造，缺乏测量所必需的可追溯性、可重复性和可再现性等计量学特性。
• 认为在未进行不确定性表征的情况下呈现似然比，会将其误认为是普遍适用的精确测量，从而损害其可转移性。
• 提出法医专家应通过清晰传达其解读所依赖的假设与不确定性，来支持决策者，而非声称其解释具有客观性。
• 鼓励法医学界在专家报告中采纳测量科学原则，强调透明度而非声称的客观性。

提出的方法

• 采用计量学视角，评估似然比（LR）是否符合证据权重测量的标准。
• 引入‘假设矩阵’，系统探索与实证数据一致的合理建模选择空间。
• 构建‘不确定性金字塔’，可视化在不同合理假设下可获得的似然比取值范围，从而量化解读中的不确定性。
• 以贝叶斯更新为框架，说明专家提供的似然比与决策者使用之间的脱节，强调似然比本质上是个人化的。
• 倡导透明报告报告程序与结果，包括数据、假设与建模选择，使决策者能够形成自身的后验几率。
• 建议若因不确定性过高而无法进行概率解释，则可将似然比作为判别评分，通过ROC曲线进行经验评估。

实验结果

研究问题

• RQ1 在计量学标准下，单一似然比（LR）值能否被视为法医学证据权重的有效测量？
• RQ2 主观建模选择（如人群定义、似然函数和先验）在多大程度上影响LR，并削弱其可再现性？
• RQ3 似然比要被视为可靠且可转移的法医学决策度量，需具备何种不确定性表征？
• RQ4 在何种情况下，将似然比呈现为确定的证据权重是不适当或具有误导性的？
• RQ5 法医专家如何在不声称其内在主观解读具有客观性的情况下，更好地支持决策者？

主要发现

• 当前法医专家报告的似然比（LR）缺乏计量学地位，因其未追溯至标准、缺乏校准，且未附带不确定性估计。
• 似然比本质上是个人概率比，而非普遍测量，将其视为后者会错误理解其在贝叶斯更新中的作用。
• 由于依赖于主观假设且这些假设极少被量化，不同专家或决策者之间LR值的可再现性极不可靠。
• 可通过使用‘假设矩阵’和‘不确定性金字塔’等工具，系统分析合理假设，探索LR值中的不确定性。
• 当不确定性表征不可行时，作者主张不应将LR报告为证据权重，而应采用其他报告方法。
• 当不确定性过高而无法量化时，通过ROC曲线对LR作为判别评分进行经验评估，可能是比概率解释更具辩护力的替代方案。