[論文レビュー] Score-based likelihood ratios to evaluate forensic pattern evidence

Nathaniel Garton, Danica M. Ommen+2 more|arXiv (Cornell University)|Feb 21, 2020

Forensic and Genetic Research参考文献 24被引用数 9

ひとこと要約

本稿では、指紋や工具痕などのフォレンジックパターン証拠の評価において従来の尤度比が不適切となる状況に対して、実用的な代替手段としてスコアベース尤度比（SLRs）を提案する。機械学習を用いて類似度スコアを生成することで、妥当な仮定のもとでSLRsが理想尤度比の統計的に妥当な近似を提供することを示しており、近似誤差が生じても証拠の方向性と強度が保持されることを示す理論的境界が得られている。

ABSTRACT

In 2016, the European Network of Forensic Science Institutes (ENFSI) published guidelines for the evaluation, interpretation and reporting of scientific evidence. In the guidelines, ENFSI endorsed the use of the likelihood ratio (LR) as a means to represent the probative value of most types of evidence. While computing the value of a LR is practical in several forensic disciplines, calculating an LR for pattern evidence such as fingerprints, firearm and other toolmarks is particularly challenging because standard statistical approaches are not applicable. Recent research suggests that machine learning algorithms can summarize a potentially large set of features into a single score which can then be used to quantify the similarity between pattern samples. It is then possible to compute a score-based likelihood ratio (SLR) and obtain an approximation to the value of the evidence, but research has shown that the SLR can be quite different from the LR not only in size but also in direction. We provide theoretical and empirical arguments that under reasonable assumptions, the SLR can be a practical tool for forensic evaluations.

研究の動機と目的

• 指紋や工具痕などのフォレンジックパターン証拠における尤度比（LR）の計算に課題が生じる状況、特に標準的統計的手法が不適切となる状況に対処すること。
• 完全なデータ分布を扱うことが困難な状況において、スコアベース尤度比（SLRs）の妥当性と信頼性を評価すること。
• SLRsが理想尤度比（LR）を逆転させることなく、証拠の方向性と強度を保持する理論的および実証的条件を確立すること。
• 特にモデル不適合および高次元データの下でのSLRsの統計的性質、特に一貫性と頑健性を調査すること。
• 解釈可能性と正確性が極めて重要な法廷環境において、SLRsをフォレンジック報告に用いるための原則的根拠を提供すること。

提案手法

• 著者らは、検察仮説（H_p）と被告仮説（H_d）の下でのスコア分布をモデル化する。H_pでは証拠が既知の同一出処源を持つと仮定し、H_dではそうではないと仮定する。
• 機械学習アルゴリズムを用いて、高次元のパターンデータ（例：シューズプリント画像の画素値）から低次元の類似度スコアを導出することで、複雑性を低減しつつも識別力は保持する。
• SLRは、非パラメトリック密度推定法を用いて、H_p下でのスコア密度とH_d下でのスコア密度の比として計算される。
• Kullback-Leibler（KL）ダイバージェンスを用いた理論的境界が導出され、全データ分布間のKLダイバージェンスが、スコア分布間のKLダイバージェンス以上であることが示され、SLRsが証拠の方向性を逆転させないことが裏付けられる。
• シミュレーションおよび実データを用いてSLRの性能を検証し、特にスコアの相関性と高次元設定下での性能を評価する。
• スコア分布の尾部挙動を分析し、尤度比近似誤差の確率的境界を導出することで、SLRsと真のLRとの乖離を検討する。

実験結果

リサーチクエスチョン

• RQ1 完全なデータ分布をモデル化することが不適切な状況下で、スコアベース尤度比（SLRs）は理想尤度比（LR）を信頼性高く近似できるか？
• RQ2 どのような条件下でSLRsは証拠の方向性と強度を保持し、結論の逆転を回避するか？
• RQ3 特に高次元データ設定下において、SLRsの統計的性質は真のLRと比較してどのように異なるか？
• RQ4 スコア分布の構築に依存するサンプルが用いられる場合、その影響は何か？
• RQ5 スコア分布と全データ分布間のKLダイバージェンスに関する理論的境界は、SLRsが真のLRへの一貫性ある近似であることを保証できるか？

主な発見

• H_pとH_dの下での全データ分布間のKLダイバージェンスは、常にそれらに対応するスコア分布間のKLダイバージェンス以上であるため、SLRsは証拠の方向性を逆転させないことが保証される。
• 理論的境界から、SLRsは真のLRに対する保守的近似であることが示され、次元数が増加するほど近似誤差が顕著に拡大することが分かっている。
• 実証的結果から、SLRsは真のLRよりも安定しており、|log SLR|が一般的に|log LR|より小さいことが示され、解釈のばらつきが小さいことが示唆されている。
• SLRsが常に真のLRの大きさを正確に再現するとは限らないが、被告仮説下での極端なSLR値が稀である（βが大きい場合のP(SLR > β | H_d)が小さい）ため、実務においても信頼できる。
• スコア分布が依存するサンプルに基づく場合、SLR推定は妥当性を損なう可能性があり、有効な推論には追加の仮定が必要であることが判明した。
• 限界はあるものの、著者らは、妥当なモデル仮定のもとでSLRsは実用的かつ正当化可能なフォレンジック評価ツールであると結論づけている。