[論文レビュー] Accuracy, Repeatability, and Reproducibility of Firearm Comparisons Part 1: Accuracy

L.S. Chumbley, Max D. Morris+5 more|arXiv (Cornell University)|Jul 30, 2021

Forensic and Genetic Research参考文献 20被引用数 6

ひとこと要約

本研究は、173名の参加者と20,130件の比較を含む大規模で制御された実験を通じて、法医学的弾丸およびケース分析者による比較の正確性を評価した。弾丸の偽陽性率は0.656%、ケースの偽陽性率は0.933%であり、95%信頼区間は分析者ごとのばらつきを示しており、法医学的意思決定における分析者固有の誤差モデルの重要性を強調している。

ABSTRACT

Researchers at the Ames Laboratory-USDOE and the Federal Bureau of Investigation (FBI) conducted a study to assess the performance of forensic examiners in firearm investigations. The study involved three different types of firearms and 173 volunteers who compared both bullets and cartridge cases. The total number of comparisons reported is 20,130, allocated to assess accuracy (8,640), repeatability (5,700), and reproducibility (5,790) of the evaluations made by participating examiners. The overall false positive error rate was estimated as 0.656% and 0.933% for bullets and cartridge cases, respectively, while the rate of false negatives was estimated as 2.87% and 1.87% for bullets and cartridge cases, respectively. Because chi-square tests of independence strongly suggest that error probabilities are not the same for each examiner, these are maximum likelihood estimates based on the beta-binomial probability model and do not depend on an assumption of equal examiner-specific error rates. Corresponding 95% confidence intervals are (0.305%,1.42%) and (0.548%,1.57%) for false positives for bullets and cartridge cases, respectively, and (1.89%,4.26%) and (1.16%,2.99%) for false negatives for bullets and cartridge cases, respectively. These results are based on data representing all controlled conditions considered, including different firearm manufacturers, sequence of manufacture, and firing separation between unknown and known comparison specimens. The results are consistent with those of prior studies, despite its more robust design and challenging specimens.

研究の動機と目的

• 制御された条件下で、法医学的弾丸およびケース分析者が弾丸とケースを比較する際の正確性を評価すること。
• 大規模かつ多様な分析者および標本のサンプルを用いて、誤り率（特に偽陽性および偽陰性）を定量化すること。
• 誤り確率が個々の分析者間で顕著に異なるかどうかを評価し、均一な誤り率を仮定する仮定を検証すること。
• 分析者固有のばらつきを考慮したベータ・二項分布を用いたモデルを用いて、誤り率の信頼区間に基づく統計的妥当な推定値を提供すること。
• 法医学的科学基準の支援と法廷における弾丸比較証言の信頼性向上に寄与する実証的データを提供すること。

提案手法

• 173名の法医学的分析者を対象に、8,640件の弾丸対および5,700件のケース対を比較する大規模で制御された実験を実施した。
• 誤り率（偽陽性および偽陰性）を推定するためにベータ・二項確率モデルを用い、均一な誤り率を仮定せずに分析者ごとのばらつきを許容した。
• 実際の現場のばらつきを再現するために、複数の火器タイプ、製造シーケンス、発砲間隔を含むデータ収集を実施した。
• カイ二乗独立性検定を用いて、分析者間での誤り確率の差を検出することで、誤り率の非均一性を確認した。
• 最大尤度推定法を用いて誤り率の95%信頼区間を計算し、統計的堅牢性を確保した。
• 合計20,130件の比較データを分析し、そのうち8,640件は正確性、5,700件は再現性、5,790件は再試行性の評価に使用した。

実験結果

リサーチクエスチョン

• RQ1 弾丸およびケースを比較する法医学的分析者の全体的な偽陽性誤り率は何か？
• RQ2 法医学的弾丸比較において、弾丸とケースの偽陰性誤り率はどのように比較されるか？
• RQ3 誤り確率は個々の分析者間で顕著に異なるのか、それとも均一と仮定できるのか？
• RQ4 分析者固有のばらつきを考慮した場合、偽陽性および偽陰性誤り率の95%信頼区間は何か？
• RQ5 本研究のより洗練された実験設計および困難な標本セットを踏まえると、先行研究と比較して結果はどうなるか？

主な発見

• 弾丸の偽陽性誤り率は0.656%であり、95%信頼区間は(0.305%, 1.42%)であった。
• ケースの偽陽性誤り率は0.933%であり、95%信頼区間は(0.548%, 1.57%)であった。
• 偽陰性誤り率は弾丸で2.87%、ケースで1.87%であり、それぞれ95%信頼区間は(1.89%, 4.26%)および(1.16%, 2.99%)であった。
• カイ二乗独立性検定の結果、誤り確率は分析者間で均一ではなく、ベータ・二項分布モデルの使用が正当化された。
• 本研究の結果は先行研究と整合的であるが、より洗練された実験設計および困難な標本セットに基づいている。
• 結果は、平均誤り率を仮定するのではなく、分析者固有の誤り率推定の必要性を支持している。