[論文レビュー] Unconscious lie detection as an example of a widespread fallacy in the Neurosciences

Volker H. Franz, Ulrike von Luxburg|arXiv (Cornell University)|Jul 16, 2014

Deception detection and forensic psychology参考文献 21被引用数 4

ひとこと要約

この論文は、神経科学分野で広く見られる統計的誤謬りに挑戦する。それは、間接的な行動的効果に基づいて無意識的知覚を推論するもので、高名な偽善検出研究を事例として挙げている。公開データの再分析により、無意識的パフォーマンスはほぼ当確率（49.6%）に近く、元の主張である「無意識的偽善検出が優れている」という主張とは矛盾しており、反応時間の差異のみから知覚的正確性を推論するという根本的な欠陥を暴露している。

ABSTRACT

Neuroscientists frequently use a certain statistical reasoning to establish the existence of distinct neuronal processes in the brain. We show that this reasoning is flawed and that the large corresponding literature needs reconsideration. We illustrate the fallacy with a recent study that received an enormous press coverage because it concluded that humans detect deceit better if they use unconscious processes instead of conscious deliberations. The study was published under a new open-data policy that enabled us to reanalyze the data with more appropriate methods. We found that unconscious performance was close to chance - just as the conscious performance. This illustrates the flaws of this widely used statistical reasoning, the benefits of open-data practices, and the need for careful reconsideration of studies using the same rationale.

研究の動機と目的

• 神経科学分野で一般的に使われている、無意識的知覚を推論するための誤った統計的推論を暴露すること。
• この推論が、無意識的認知プロセスに関する誤った結論を導くことを示すこと。
• オープンデータを用いて、高インパクトな偽善検出研究を再分析し、その無意識的正確性に関する主張の妥当性を検証すること。
• 神経科学研究におけるメソドロジカルな厳密さとオープンデータの実践を提唱すること。

提案手法

• 元の偽善検出研究のオープンに共有されたデータを再分析し、その結論の妥当性を検証した。
• 信号検出理論と効果量指標（Cohenのd）を適用し、直接的および間接的タスクにおける分類正確性を評価した。
• 反応時間差の平均の標準誤差（SEM）を計算し、統計的有意性と検出力の評価を行った。
• 分類器モデルを用いて、反応時間データから実際の分類パフォーマンスを推定し、当確率と比較した。
• 分類正確性のためのd値を反応時間差のみではなく、特に分類正確性に対して計算し、極めて小さい効果量が明らかになった。
• 再現性とメソドロジカルな整合性を保証するため、すべての結果をMATLABを用いて独立して検証した。

実験結果

リサーチクエスチョン

• RQ1 間接的タスクにおける顕著な反応時間差が、刺激の正確な無意識的分類を示すのに十分な証拠となるか？
• RQ2 反応時間の整合性効果から、無意識的偽善検出パフォーマンスを信頼性高く推論できるか？
• RQ3 適切に分析された場合、無意識的検出が意識的検出を上回っているという主張は、実証的データによって裏付けられているか？
• RQ4 Cohenのdのような効果量指標が、単に反応時間差ではなく、実際の知覚的正確性をどれほど反映しているか？
• RQ5 オープンデータポリシーは、高インパクトな神経科学的主張の批判的再評価をどの程度可能にするか？

主な発見

• 無意識的偽善検出パフォーマンスは、当確率よりも顕著に優れておらず、分類正確性は49.6%にとどまり、ランダムな推測と同等であった。
• 間接的タスクにおける分類正確性のCohenのd値はわずか0.03にとどまり、効果量が無視できるほど小さく、当確率のパフォーマンスと一致していた。
• 元の研究が主張する「無意識的検出の優位性」は、反応時間差に基づいており、実際の分類正確性に基づくものではなく、根本的なメソドロジカルな誤りであった。
• 反応時間における顕著な整合性効果は、知覚的正確性を示すものではなく、同じ効果は当確率の分類でも発生しうることを示した。
• 反応時間差の平均の標準誤差は1.9 msと推定され、観察された実効値2.0 msに近く、統計モデルの妥当性が裏付けられた。
• 本研究は、オープンデータポリシーが、広く受け入れられている神経科学的推論における欠陥を暴露するための批判的再分析を可能にすることを示している。