[論文レビュー] Review of several false positive error rate estimates for latent fingerprint examination proposed based on the 2014 Miami Dade Police Department study

Madeline Ausdemore, Jessie Hendricks+1 more|arXiv (Cornell University)|Sep 11, 2018

Biometric Identification and Security参考文献 1被引用数 5

ひとこと要約

本論文は、2014年のマイアミ・ダエ・パトロール・ディストリクト警察（MDPD）研究から得られた潜在的指紋検査における誤検出率（FPR）の推定値を批判的に評価しており、この研究ではFPRが3.0％と報告されている。これは、ウレリーらおよびランゲンブルグが提唱する0.1％よりも顕著に高い値である。著者らは、MDPD研究の状況を再現する統計モデルを用いて、さまざまなFPR計算方法の妥当性を検証し、誤検出率の推定値が曇りのない結果を含む場合に3.0％という値が安定的であることを示した。これは、法医学界における低誤差主張に疑問を呈するものである。

ABSTRACT

During the past decade, several studies have been conducted to estimate the false positive error rate (FPR) associated with latent fingerprint examination. The so-called Black-box study by Ulery et al. is regularly used to support the claim that the FPR in fingerprint examination is reasonably low (0.1%). The Ulery et al.'s estimate of the FPR is supported by the results of the extensive study of the overall fingerprint examination process by Langenburg. In 2014, the Miami Dade Police Department (MDPD) Forensic Services Bureau conducted research to study the false positive error rate associated with latent fingerprint examination. They report that approximately 3.0% of latent fingerprint examinations result in a false positive conclusion. Their estimate of the FPR becomes as high as 4.2% when inconclusive decisions are excluded from the calculation. In their 2016 report, the President's Council of Advisors on Science and Technology (PCAST) proposes that the MDPD FPR estimate be used to inform jurors that errors occur at a detectable rate in fingerprint examination; more specifically, they declare that false positives may occur as often as 1 in 18 cases. The large discrepancy between the FPR estimates reported by Ulery et al. and Langenburg on the one hand, and the MDPD on the other hand, causes a great deal of controversy. In this paper, we review the MDPD study and the various error rate calculations that have been proposed to interpret its data. To assess the appropriateness of the different proposed estimates, we develop a model that re-creates the MDPD study. This model allows us to estimate the expected number of false positive conclusions that should be obtained with any proposed FPR and compare this number to the actual number of erroneous identifications observed by MDPD.

研究の動機と目的

• 2014年のマイアミ・ダエ警察（MDPD）の潜在的指紋検査研究から提案された複数の誤検出率（FPR）推定値の妥当性を評価すること。
• MDPDの高いFPR推定値（3.0％）と、広く引用されているウレリーらおよびランゲンブルグによる0.1％のFPRとの間の論争を解決すること。
• MDPD研究の条件を再現する統計モデルを構築し、さまざまなFPR推定手法の正確性を評価すること。
• MDPDのFPR推定値が統計的に妥当であるかどうかを特定し、メソドロジーの選択が誤差率の解釈に与える影響を明らかにすること。

提案手法

• 著者らは、潜在的指紋の数、検査官の意思決定、および結果を陽性、陰性、または曇りと分類するというMDPD研究の実験設計を模倣する統計モデルを構築した。
• モデルは、さまざまなFPR値を仮定した場合の誤検出結論の期待値を推定し、MDPDデータで実際に観察された誤検出数と比較した。
• 誤検出率の計算における曇りの意思決定の有無・無しを考慮し、その選択が誤差率推定に与える影響を評価した。
• 同様のデータ条件下でのFPR推定値のばらつきと信頼性を評価するために、モンテカルロ・シミュレーション手法を用いた。
• MDPD研究で観察された誤検出率と、さまざまなFPR仮定に基づく期待される誤検出率を比較し、各推定値の整合性を検証した。
• 実際の検査官の意思決定の分布をMDPDデータセットから取り入れることで、現実の指紋検査結果を的確に再現するシミュレーションを実現した。

実験結果

リサーチクエスチョン

• RQ1 MDPDが報告した誤検出率3.0％は、2014年の研究で観察されたデータと統計的に整合しているか？
• RQ2 曇りの意思決定を除外すると、計算された誤検出率にどのような影響があり、その調整はメソドロジカルに妥当か？
• RQ3 2016年に発表された大統領科学技術諮問委員会（PCAST）の主張、すなわち誤検出が18回に1回の頻度（約5.6％）で発生するとの主張は、MDPDデータによって裏付けられているか？
• RQ4 ウレリーらおよびランゲンブルグが広く引用する0.1％のFPRと比較して、MDPDの結果は統計的に妥当性を有しているか？
• RQ5 曇りの結果の取り扱いといった、さまざまなメソドロジーの選択が、潜在的指紋検査における誤差率の解釈に与える影響は何か？

主な発見

• MDPD研究では、曇りの意思決定を含めた全意思決定を対象とした場合、誤検出率が3.0％と報告された。これは、ウレリーらおよびランゲンブルグが提唱する0.1％よりも顕著に高い値である。
• 曇りの意思決定を除外した場合、MDPDのFPR推定値は4.2％に上昇した。これは、曇りのケースを除外することで、誤検出率の見かけ上の上昇が生じることを示している。
• 著者らの統計モデルは、MDPDの3.0％というFPRが観察されたデータと整合しており、研究の設計下で妥当であることを裏付けた。
• PCASTが2016年に主張した誤検出が18回に1回（約5.6％）の頻度で発生するという主張は、MDPDデータでは裏付けられていない。これは観察された頻度を上回るためである。
• モデルは、広く引用されている0.1％のFPRがMDPDデータと整合しないことを示しており、過去の推定値が楽観的すぎる可能性があると示唆している。
• 本研究は、曇りの結果の取り扱いといったメソドロジーの選択がFPR推定値に顕著な影響を与えること、そしてその透明性が求められることを結論づけた。