[論文レビュー] Simple models predict behavior at least as well as behavioral scientists

Dillon Bowen|arXiv (Cornell University)|Aug 1, 2022

Decision-Making and Behavioral Economics被引用数 4

ひとこと要約

本研究は、行動科学者が単純なモデルよりも人間の行動をより正確に予測できるかを評価し、『行動介入に効果がない』やランダムな確率と同等の単純なヒューリスティクスよりも、常にその性能が劣ることを発見した。600人を超える専門家を含む5つの研究のデータを用いた分析から、行動科学者の予測は単純なモデルと同等か、場合によってはそれよりも悪いことが判明し、専門家判断における著しいノイズと過信が明らかになった。

ABSTRACT

How accurately can behavioral scientists predict behavior? To answer this question, we analyzed data from five studies in which 640 professional behavioral scientists predicted the results of one or more behavioral science experiments. We compared the behavioral scientists' predictions to random chance, linear models, and simple heuristics like "behavioral interventions have no effect" and "all published psychology research is false." We find that behavioral scientists are consistently no better than - and often worse than - these simple heuristics and models. Behavioral scientists' predictions are not only noisy but also biased. They systematically overestimate how well behavioral science "works": overestimating the effectiveness of behavioral interventions, the impact of psychological phenomena like time discounting, and the replicability of published psychology research.

研究の動機と目的

• 行動科学者の行動予測の正確さを、単純なモデルやヒューリスティクスと比較して評価すること。
• 行動科学分野における専門家判断が、ランダムな確率やノン効果モデルなどの基本的ベンチマークを上回るかどうかを調査すること。
• 多様な行動実験において、行動科学者の予測におけるバイアスとノイズを定量化すること。
• 線形補間や経験的ベイズ推定器を含む単純な統計モデルが、専門家の予測を上回るかどうかを評価すること。
• 行動科学における予測の再現可能性と、予測結果を予測する専門家判断の信頼性を検討すること。

提案手法

• 介入の効果がないものと仮定するノン効果モデル（すなわち、行動に変化がないと予測する）と、行動科学者の予測を比較した。
• 真の介入効果の事後分布を推定するために、非パラメトリックおよびパラメトリックな経験的ベイズ推定器を適用し、不確実性を考慮した。
• 標準誤差を介入および行動科学者レベルでクラスタリングするために、ディリクレ事前分布を用いたベイジアンブートストラップを用い、比較の妥当性を高めた。
• 線形回帰モデルにおけるギブスサンプリングを用いて、効果量推定の不確実性を組み込み、再現確率を推定した。
• ブートストラップサンプリングを用いて、専門家の予測がモデル予測よりも不正確である確率を計算するための比較的リスク分析を実施した。
• OLSと分散拡張誤差構造を用いた線形モデルを適用し、元の研究の効果量に基づいて再現の可能性を予測した。

実験結果

リサーチクエスチョン

• RQ1 行動科学者は、『介入に効果がない』といった単純なヒューリスティクスよりも、行動の結果をより正確に予測できるか？
• RQ2 複数の行動実験において、行動科学者の予測の正確さはランダムな確率と比べてどの程度か？
• RQ3 行動科学者の予測はどの程度バイアスを含んでおり、介入の効果を一貫して過大評価しているか？
• RQ4 線形補間や経験的ベイズ推定器といった単純な統計モデルが、行動科学の専門家予測を上回る可能性はあるか？
• RQ5 介入効果の不確実性を考慮した場合、専門家の予測がモデル予測よりも不正確である確率はどの程度か？

主な発見

• 行動科学者の予測は、ランダムな確率と同等の正確さであり、特に介入効果の予測ではさらに劣っていた。
• 分析した5つの研究すべてにおいて、すべての介入に効果がないと予測するノン効果モデルが、行動科学者を上回った。
• 専門家は一貫して介入の効果を過大評価しており、予測に明確な正のバイアスが見られた。
• 予測の正確さは低く、ノイズが多く、優れた機関に所属する専門家ですら、個々の科学者間で著しいばらつきが見られた。
• 努力に関する研究では、既知のデータポイント間の線形補間といった単純なモデルが、専門家の予測よりも顕著に優れていた。
• 複数の研究で、専門家の予測がモデル予測よりも不正確である確率が80％を超え、モデルの優位性が強く裏付けられた。