[論文レビュー] Likelihood Ratio as Weight of Forensic Evidence: A Metrological Perspective

Steven P. Lund, Hari Iyer|arXiv (Cornell University)|Aug 26, 2016

Time Series Analysis and Forecasting参考文献 14被引用数 3

ひとこと要約

この論文は、法医学的証拠の重みを測るための移譲可能指標としての尤度比（LR）の規範的使用を挑戦し、LRが本質的に主観的であるため、包括的な不確実性の特徴付けがなければ、計測的厳密性に欠けると主張する。代わりに、法医学的専門家は、Lattice of Assumptions や Uncertainty Pyramid といったツールを用いて、仮定に基づいた透明な分析を提示すべきであり、意思決定者に自らの解釈を形成する支援をすべきであり、LRに客観的測定としての地位を主張すべきではないと提言する。

ABSTRACT

In this article we provide a rebuttal against the possible perception that a single number, such as the Likelihood Ratio, can provide an objective, authoritative or definitive weight of evidence. We also illustrate the extent to which conclusions can vary depending on the assumptions used in the analysis, even under alternative assumptions that are judged to be consistent with available empirical information. To facilitate these goals, we introduce the notion of a Lattice of Assumptions and an Uncertainty Pyramid illustrated in the context of a previously published example involving glass evidence. We take the position that rather than focusing on a single number summary as the weight of evidence it is the duty of the forensic expert to assist the trier of fact in forming their own interpretations from a clear understanding of the objective and demonstrably available information. We hope the presented arguments will inspire those in the forensic science community to pursue establishing their practice on a solid foundation of measurement science.

研究の動機と目的

• 意思決定者に「証拠の重み」として単一の尤度比（LR）を報告することが、法医学的専門家が行うべきものであるという一般的な規範的見解に反論すること。
• LRが主観的なベイズ的構造物であることに鑑み、測定に必要なトレーサビリティ、再現性、再現可能性といった計測的性質を欠いていることの強調。
• 不確実性の特徴付けがなされないままLRを提示することは、普遍的かつ正確な測定値であるかのように誤解を招き、その移譲可能性を損なうと主張すること。
• 法医学的専門家は、自らの解釈の裏にある仮定と不確実性を明確に提示することで、意思決定者を支援すべきであると提言すること。
• 法医学的科学のコミュニティが、主張される客観性よりも透明性を重視する姿勢を採り入れ、専門家の報告において計測科学の原則を採用するよう促すこと。

提案手法

• 尤度比（LR）が証拠の重みの測定として適格であるかどうかを、計測学的視点から評価する。
• 実証的データと整合する可能性のあるモデリング選択の空間を体系的に探るため、「仮定のラティス（Lattice of Assumptions）」を導入する。
• 異なる妥当な仮定のもとで得られるLR値の範囲を可視化することで、解釈における不確実性を定量化する「不確実性のピラミッド（Uncertainty Pyramid）」を構築する。
• ベイズ更新の枠組みを用いて、専門家が提示するLRと意思決定者によるその使用との間の乖離を示し、LRが本質的に個人的なものであることを強調する。
• データ、仮定、モデリング選択を含めた報告手順と結果を透明に提示することで、意思決定者が自らの事後オッズを形成できるように支援する。
• 不確実性が高すぎて定量化が困難な場合、LRを判別スコアとしての代替的用途に用い、受信者操作特性曲線（ROC曲線）を用いて実証的に評価することを提案する。

実験結果

リサーチクエスチョン

• RQ1 計測基準に照らして、単一の尤度比（LR）値が法医学的証拠の重みの有効な測定と見なせるか？
• RQ2 集団の定義、尤度関数、事前分布といった主観的なモデリング選択がLRに与える影響の程度はどの程度で、それが再現性を損なうか？
• RQ3 LRが法医学的意思決定において信頼的かつ移譲可能な測定と見なされるために必要な不確実性の特徴付けは何か？
• RQ4 どのような状況で、LRを決定的証拠の重みとして提示することが不適切または誤解を招くか？
• RQ5 本質的に主観的な解釈に対して客観的であると主張しない限り、法医学的専門家は意思決定者をどのようによりよく支援できるか？

主な発見

• 法医学的専門家が現在報告している尤度比（LR）は、標準へのトレーサビリティがなく、キャリブレーションも行われず、不確実性推定値も添付されていないため、計測的立場を有しない。
• LRは本質的に個人的な確率比であり、普遍的測定とは異なり、ベイズ更新におけるその役割を誤解させる形で扱われている。
• 主観的仮定に依存するため、専門家間や意思決定者間でのLR値の再現性は著しく疑わしいものであり、それらはほとんど常に定量化されていない。
• Lattice of Assumptions や Uncertainty Pyramid といったツールを用いた、妥当な仮定の体系的分析により、LR値における不確実性を探索できる。
• 不確実性の特徴付けが現実的でない場合、著者らはLRを証拠の重みとして報告すべきではなく、代替の報告方法を用いるべきだと主張する。
• 不確実性が高すぎて定量化が困難な場合、ROC曲線による実証的評価を通じたLRの判別スコアとしての利用は、確率的解釈が正当化できない場合のより妥当な代替手段である可能性がある。