[論文レビュー] The Experimenters' Dilemma: Inferential Preferences over Populations

Neeraja Gupta, Luca Rigotti+1 more|D-Scholarship@Pitt (University of Pittsburgh)|Jul 11, 2021

Experimental Behavioral Economics Studies参考文献 11被引用数 4

ひとこと要約

本稿は、実験的経済学における3つの被験者集団—ラボの学部生、MTurk、Prolific—を、ノイズ、観察あたりの費用、経済ゲームにおける反応の弾力性の観点から比較している。固定予算のもとで、Prolificはノイズと費用の両方が低いためMTurkを上回り、ラボは費用が高かっただけに、反応の弾力性において両者を上回っている。したがって、微細な処置効果を検出するにはラボが優れている。

ABSTRACT

We compare three populations commonly used in experiments by economists and other social scientists: undergraduate students at a physical location (lab), Amazon's Mechanical Turk (MTurk), and Prolific. The comparison is made along three dimensions: the noise in the data due to inattention, the cost per observation, and the elasticity of response. We draw samples from each population, examining decisions in four one-shot games with varying tensions between the individual and socially efficient choices. When there is no tension, where individual and pro-social incentives coincide, noisy behavior accounts for 60% of the observations on MTurk, 19% on Prolific, and 14% for the lab. Taking costs into account, if noisy data is the only concern Prolific dominates from an inferential power point of view, combining relatively low noise with a cost per observation one fifth of the lab's. However, because the lab population is more sensitive to treatment, across our main PD game comparison the lab still outperforms both Prolific and MTurk.

研究の動機と目的

• 固定研究予算のもとで、ラボの学部生、MTurk、Prolificという3つの一般的な被験者集団の推論的パワーを評価すること。
• 特に戦略的緊張のないゲームにおいて、意思決定のノイズ（不注意に起因するもの）がこれらの集団間でどのように異なるかを評価すること。
• 社会的ジレンマゲーム、特に誘因を裏切る誘惑が変化する囚人のジレンマ構造におけるインcentive変化への反応の弾力性を測定すること。
• コスト、ノイズ、反応性のバランスを考慮して、処置効果を検出するための最高の統計的パワーを提供する被験者集団を特定すること。
• 研究者が定性的な方向効果を検出するか、非線形モデルにおける曲率を推定するかに応じて、最適な被験者集団の選定を支援すること。

提案手法

• 戦略的緊張のない2つのゲーム（ノイズを測定するため）と、囚人のジレンマ構造を持つ2つのゲーム（反応の弾力性を測定するため）を、3つの被験者集団で同一に実施する。
• 自己利益と利他の行動が完全に一致するゲームを用いて、インcentiveに依存しない意思決定の割合としてノイズを測定する。
• フレーム操作（最初に提示された選択肢）を用いて、ランダム選択と選択バイアスを区別し、不注意と好みに基づく行動を分離する。
• 実験予算を固定し、各集団の標準的な支払い水準に合わせてインcentiveスケールを変更することで、観察数を変動させる。
• 研究者の好みをモデル化するため、等パワー曲線と等予算曲線を構築し、予算制約下での推論的パワーを効用関数として扱う。
• PDゲームにおける処置効果の減衰を推定し、集団間での反応性の違いを比較する。弾力性は、誘因を裏切る誘惑の単位変化に伴う協力率の変化として測定する。

実験結果

リサーチクエスチョン

• RQ1 戦略的緊張のないゲームにおいて、ラボ、MTurk、Prolificの各集団におけるノイズの高い行動（不注意）のレベルはどのように異なるか？
• RQ2 各集団の観察あたりの費用はどの程度か？ これは固定研究予算下での推論的パワーにどのように影響するか？
• RQ3 社会的ジレンマゲーム、特に誘因を裏切る誘惑が変化する囚人のジレンマ構造におけるインcentive変化への反応の弾力性はどの程度か？
• RQ4 固定予算のもとで、どの被験者集団が定性的な方向効果を検出するための最高の統計的パワーを提供するか？
• RQ5 ラボ集団は、観察あたりのコストが高かっただけに、どのような条件下でオンラインプラットフォームを上回る推論的パワーを示すか？

主な発見

• MTurkは、インcentiveに依存しない意思決定の割合が60％に達し、ラボの14％、Prolificの19％と比較して最も高いノイズを示した。
• ノイズが主な懸念事項である場合、Prolificは低ノイズと低観察費用（ラボの1/5）の両方の点でMTurkとラボを上回り、推論的パワーで優位である。
• 観察あたりの費用が高かっただけに、ラボ集団は囚人のジレンマゲームにおいてインcentive変化への反応の弾力性が著しく高く、処置変動に対する感受性が強い。
• PDゲームでは、ラボの反応の弾力性はProlificやMTurkと比べて顕著に高く、後者は誘因を裏切る誘惑の変化に対してほとんど弾力性がない。
• 処置効果の大きさが増加すると、Prolificは低コストと低ノイズの両方の利点を活かして、弾力性が低いにもかかわらずラボを上回る推論的パワーを示す可能性がある。
• MTurkの顕著なノイズは、低コストであるがゆえに「安価な誤り」であり、信頼できる推論にはProlificのようなより選別されたプラットフォームが好ましい。