[论文解读] Accuracy, Repeatability, and Reproducibility of Firearm Comparisons Part 1: Accuracy

L.S. Chumbley, Max D. Morris+5 more|arXiv (Cornell University)|Jul 30, 2021

Forensic and Genetic Research参考文献 20被引用 6

一句话总结

本研究通过一项大规模、受控的实验，评估了法医枪械鉴定人员在比较子弹和弹壳时的准确性，实验对象为173名志愿者，共完成20,130次比较。研究报告的假阳性率分别为0.656%（子弹）和0.933%（弹壳），95%置信区间显示鉴定人员之间存在显著的统计差异，强调了在法医决策中采用个体鉴定人员误差建模的重要性。

ABSTRACT

Researchers at the Ames Laboratory-USDOE and the Federal Bureau of Investigation (FBI) conducted a study to assess the performance of forensic examiners in firearm investigations. The study involved three different types of firearms and 173 volunteers who compared both bullets and cartridge cases. The total number of comparisons reported is 20,130, allocated to assess accuracy (8,640), repeatability (5,700), and reproducibility (5,790) of the evaluations made by participating examiners. The overall false positive error rate was estimated as 0.656% and 0.933% for bullets and cartridge cases, respectively, while the rate of false negatives was estimated as 2.87% and 1.87% for bullets and cartridge cases, respectively. Because chi-square tests of independence strongly suggest that error probabilities are not the same for each examiner, these are maximum likelihood estimates based on the beta-binomial probability model and do not depend on an assumption of equal examiner-specific error rates. Corresponding 95% confidence intervals are (0.305%,1.42%) and (0.548%,1.57%) for false positives for bullets and cartridge cases, respectively, and (1.89%,4.26%) and (1.16%,2.99%) for false negatives for bullets and cartridge cases, respectively. These results are based on data representing all controlled conditions considered, including different firearm manufacturers, sequence of manufacture, and firing separation between unknown and known comparison specimens. The results are consistent with those of prior studies, despite its more robust design and challenging specimens.

研究动机与目标

• 在受控条件下评估法医枪械鉴定人员在比较子弹和弹壳时的准确性。
• 量化在大量、多样化的鉴定人员和样本中，假阳性和假阴性错误率。
• 评估错误概率在不同个体鉴定人员之间是否存在显著差异，挑战统一错误率的假设。
• 使用考虑鉴定人员特异性变异性的贝塔-二项分布模型，提供基于置信区间的错误率稳健估计。
• 提供实证数据，以支持法医科学标准，并提高枪械比对证词在法律语境下的可靠性。

提出的方法

• 开展了一项大规模、受控的实验，涉及173名法医鉴定人员，对8,640对子弹和5,700对弹壳进行比较。
• 采用贝塔-二项概率模型估算假阳性和假阴性错误率，允许在不假设错误率相等的情况下，反映鉴定人员之间的差异。
• 收集了多种枪械类型、生产序列和射击间隔时间的数据，以模拟现实世界中的变异性。
• 应用卡方独立性检验检测不同鉴定人员之间错误概率的差异，证实错误率并非均匀分布。
• 使用最大似然估计法计算错误率的95%置信区间，以确保统计稳健性。
• 分析了总计20,130次比较的数据，其中8,640次用于准确性评估，5,700次用于可重复性评估，5,790次用于可再现性评估。

实验结果

研究问题

• RQ1 法医枪械鉴定人员在比较子弹和弹壳时的整体假阳性错误率是多少？
• RQ2 在法医枪械比对中，子弹和弹壳的假阴性错误率如何比较？
• RQ3 错误概率在不同个体鉴定人员之间是否存在显著差异，还是可以假设为均匀分布？
• RQ4 在考虑鉴定人员特异性变异性的前提下，假阳性和假阴性错误率的95%置信区间是多少？
• RQ5 鉴于本研究设计更为严谨且样本更具挑战性，其结果与以往研究相比有何异同？

主要发现

• 子弹的假阳性错误率估计为0.656%，95%置信区间为(0.305%，1.42%)。
• 弹壳的假阳性错误率为0.933%，95%置信区间为(0.548%，1.57%)。
• 子弹的假阴性错误率为2.87%，95%置信区间为(1.89%，4.26%)；弹壳的假阴性错误率为1.87%，95%置信区间为(1.16%，2.99%)。
• 卡方独立性检验表明，错误概率在不同鉴定人员之间并不均匀，支持采用贝塔-二项分布模型。
• 本研究结果与以往研究一致，但基于更严谨的实验设计和更具挑战性的样本集。
• 研究结果支持在法医枪械比对中采用鉴定人员特异性错误率估计，而非假设单一平均错误率。