[論文レビュー] Effectiveness of the GT200 Molecular Detector: A Double-Blind Test

W. Luis Mochán, A. Ramı́rez-Solı́s|arXiv (Cornell University)|Jan 17, 2013

Misinformation and Its Impacts被引用数 3

ひとこと要約

本二重盲検研究では、薬物および爆発物を遠隔で同定するとして市場に出回っているGT200分子検出器を、8つの同一のボックスのうち1つにアムフェタミン錠や弾丸を隠してテストした。装置は20回の試行のうち17回で失敗し、結果はランダムな確率（p = 1/8）と統計的に区別がつかず、明確に効果がないことが示された。また、ユーザーの期待による操作の可能性も示唆された。

ABSTRACT

The GT200 is a device that has been extensively used by the Mexican armed forces to remotely detect and identify substances such as drugs and explosives. A double blind experiment has been performed to test its effectivity. In seventeen out of twenty attempts, the GT200 failed in the hands of certified operators to find more than 1600 amphetamine pills and four bullets hidden in a randomly chosen cardboard box out of eight identical boxes distributed within a 90m$ imes$20m ballroom. This result is compatible with the 1/8 probability expected for a completely ineffectual device, and is incompatible with even a moderately effective working one.

研究の動機と目的

• 制御された条件下で、GT200分子検出器が薬物および爆発物を遠隔で検出できるという主張を厳密に検証すること。
• 被験者がターゲットの位置を知らない状況で、装置がランダムな確率よりも優れた性能を示すかどうかを評価すること。
• 法執行部門および司法手続きにおけるGT200の使用を疑問視する科学的証拠を提供すること。
• この装置による誤検出が人権侵害と結びついているという懸念を解決すること。
• メキシコ上院および人権機関が要請した、GT200の独立した科学的検証に応えること。

提案手法

• メキシコ科学アカデミーで実施した二重盲検実験。90m × 20mのボールルームを用い、8つの同一の段ボール箱を用意した。
• 8つの箱のうち1つに、1600錠のアムフェタミン錠と4発の弾丸をランダムに選択された箱に隠し、GT200の操作者にはその位置が不明であった。
• 認定を受けた軍事専門家がGT200を使用する訓練を受け、ターゲットの位置を知らない状態で実験に参加した。
• 装置を用いて20回の独立した試行を実施し、各操作者の検出報告を記録した。
• 二項確率分布を用いて、ランダム確率（p = 1/8）および中程度の有効性（p = 0.5 または 0.8）と比較して結果を分析した。
• コインを投げてランダムな反応を模倣する制御条件を設けたが、その結果はGT200の性能を下回った。

実験結果

リサーチクエスチョン

• RQ1 二重盲検環境下で、GT200はランダム確率よりも顕著に高い正確性で隠された薬物および爆発物を検出できるか？
• RQ2 装置の性能は、完全に無効でランダムに機能する機器と一致しているか？
• RQ3 GT200の結果は、実際に検出能力があるのではなく、操作者のバイアスまたは無意識のヒントによるものと説明できるか？
• RQ4 実際に有効な装置であると仮定した場合、観察された検出率（3/20）が得られる確率はどの程度か？
• RQ5 被験者がターゲットの位置を知っている場合と知らない場合とで、装置の性能に差があるか？

主な発見

• GT200は20回の試行のうちたった3回の検出にとどまり、ランダム確率（p = 1/8）と統計的に区別がつかず、完全に無効である可能性が95％で確認された。
• 中程度に有効な装置（p = 0.5）で3回のヒットを得る確率はわずか0.1％であり、p = 0.8の場合は10−9未満であるため、このような有効性は極めて不自然である。
• 装置の性能は、二項分布解析および尤度関数によって、完全にランダムな選択プロセスと一致しており、完全に無効であると確認された。
• コインを投げてランダムに反応する制御条件ですら、GT200の結果より悪い（1/20ヒット）結果を示し、GT200の性能が確率よりも悪くないことを裏付けた。
• 被験者がターゲットの位置を知っている場合、GT200は正しくその位置を特定した。これは、装置の性能が検出能力ではなく、ユーザーの知識に依存していることを示している。
• 本研究は、GT200が根本的に無効であり、ユーザーの期待による操作の可能性が強くあり、科学的および法的根拠を欠いた法医学的ツールであると結論づけた。