[論文レビュー] The Causal Effect of Answer Changing on Multiple-Choice Items

Yongnam Kim|arXiv (Cornell University)|Aug 31, 2018

Advanced Causal Inference Techniques参考文献 17被引用数 1

ひとこと要約

本研究では、潜在的アウトカム枠組みを用いて、選択式試験における回答の変更が、処置を受ける者に対する平均処置効果（ATT）が正であることを示している。これは、回答を変更する学生が利益を被ることを意味する。一方、処置を受けていない者に対する平均処置効果（ATU）は負であり、回答を変更しない学生がその行動によって損なわれることを示唆している。この発見により、長年の議論が解決された。

ABSTRACT

Whether examinees' answer changing behavior while taking multiple-choice exams is beneficial or harmful is a long-standing puzzle in the educational and psychological measurement literature. Formalizing the problem using the potential outcomes framework, this article shows that the traditional method of comparing the proportions of to and right to wrong answer changing patterns--a method that has recently been criticized by van der Linden, Jeon, and Ferrara (2011)--indeed correctly identify the sign of the average answer changing effect, but only for those examinees who actually changed their initial responses. This subgroup effect is referred to as the average treatment effect on the treated (ATT) and generally differs from the average treatment effect on the untreated (ATU), that is, those who did not change their initial responses. Analyzing two real data sets, including van der Linden et al.'s (2011) controversial data, this article finds that the ATT of answer changing is positive while the ATU of answer changing is negative, therefore, the debate on answer changing effects can be easily resolved. The article also shows that answer changing and answer reviewing are two distinct treatments and knowing answer changing effects is not informative for predicting answer reviewing effects.

研究の動機と目的

• 選択式試験における回答の変更が有益か有害かという長年の議論を解決すること。
• 右→左と左→右の回答変更パターンを比較する従来の手法の限界を明確にすること。
• 回答変更行動における処置を受ける者に対する平均処置効果（ATT）と処置を受けていない者に対する平均処置効果（ATU）を区別すること。
• 回答変更と回答の再検討が異なるプロセスであり、それぞれ異なる因果的効果を持つことの証明。
• ランダム化比較試験の枠組みを用いて、実データセット（ヴァン・デル・レンデンらの議論を呼ぶデータを含む）を用いて、回答変更の真の影響を評価する因果的フレームワークの提供。

提案手法

• 潜在的アウトカム枠組みを用いて回答変更を因果的処置として形式化すること。
• 回答を変更した受験生に対する処置を受ける者に対する平均処置効果（ATT）を推定すること。
• 回答を変更しなかった受験生に対する処置を受けていない者に対する平均処置効果（ATU）を推定すること。
• ヴァン・デル・レンデンら（2011）のデータを含む2つの実データセットを分析し、ATTとATUを計算すること。
• 因果モデル内で回答変更と回答の再検討を別々の処置として区別すること。
• 統計的モデリングを用いてATTとATUの方向性と大きさを比較し、両者の相違する効果を明らかにすること。

実験結果

リサーチクエスチョン

• RQ1 従来の方法、すなわち右→左と左→右の回答変更パターンを比較する方法は、処置を受ける者に対する平均処置効果（ATT）の符号を正しく特定できるか？
• RQ2 選択式問題において回答を変更する受験生に対する平均処置効果（ATT）は何か？
• RQ3 回答を変更しない受験生に対する平均処置効果（ATU）は何か？
• RQ4 回答を変更する者と変更しない者の間で、回答変更の効果はどのように異なるか？
• RQ5 回答変更の効果は、回答の再検討の効果を予測するためにどの程度有用か？

主な発見

• 回答変更の処置を受ける者に対する平均処置効果（ATT）は正であり、回答を変更する学生は成績が向上する傾向にあることを示している。
• 回答変更の処置を受けていない者に対する平均処置効果（ATU）は負であり、回答変更が処置として扱われる場合、回答を変更しない学生はより悪い状況に置かれる。
• ATTとATUは顕著に異なり、回答変更の全体的効果がどのサブグループを対象としているかに依存することを示している。
• 回答変更と回答の再検討は別個の処置であり、回答変更の効果を知ることは、回答の再検討の効果を予測する手がかりとはならない。
• ヴァン・デル・レンデンら（2011）のデータの分析により、ATTが正でATUが負であることが確認され、回答変更が変更を行う者にとっては有益であるという議論が解決された。
• 従来の右→左と左→右のパターンを比較する方法は、ATTの符号を正しく特定できるが、因果的状況の全体像を捉えていない。