[論文レビュー] Test item response time and the response likelihood

Srdjan Verbić, Boris Tomic|ArXiv.org|Jan 27, 2009

Psychometric Methodologies and Testing参考文献 18被引用数 6

ひとこと要約

本研究は、コンピュータベースの物理テストの設問に対する反応時間と正答の可能性の相関関係を調査し、特に男子においては、反応時間が速いほど正答の可能性が高くなる傾向が認められ、この関係は設問の難易度によっても異なることを明らかにした。結果から、反応時間は試験行動の意味のある指標であり、低利害テストにおける能力推定やバイアス検出の向上に役立つ可能性がある。

ABSTRACT

Test takers do not give equally reliable responses. They take different responding strategies and they do not make the same effort to solve the problem and answer the question correctly. The consequences of differential test takers' behavior are numerous: the test item parameters could be biased, there might emerge differential item functioning for certain subgroups, estimation of test taker's ability might have greater error, etc. All the consequences are becoming more prominent at low-stakes tests where test takers' motivation is additionally decreased. We had analyzed a computer based test in Physics and tried to find and describe relationship between the item response time and the item response likelihood. We have found that magnitude of such relationship depends on the item difficulty parameter. We have also noticed that boys, who respond faster, in average, give responses with greater likelihood than the boys who respond slower. The same trend was not detected for girls.

研究の動機と目的

• コンピュータベースのテストにおける設問反応時間と正答の確率の関係を調査すること。
• 反応時間が性別グループごとに正答の可能性に異なる影響を及えるかどうかを調査すること。
• 設問の難易度が反応時間と正答可能性の関係をどのように調整するかを評価すること。
• 低利害テスト環境における項目パラメータ推定および能力測定におけるバイアスに及ぼす反応時間の意味を検討すること。
• 反応時間が試験への取り組み具合や戦略の行動的指標として機能することを証拠づけること。

提案手法

• 学生のサンプルに実施されたコンピュータベースの物理テストから得られた反応時間と正答データを分析した。
• 反応時間の関数として正答の確率をモデル化するために項目反応理論（IRT）フレームワークを用いた。
• 設問を高難易度および低難易度のグループに分類し、難易度と反応時間の相互作用を検討した。
• 性別によるサブグループ分析を実施し、反応時間と正答可能性のパターンの差異を評価した。
• 統計的モデリングを用いて、反応時間と正答可能性の間の関係の強さと方向性を定量化した。
• 散布図とトレンドラインを用いて、異なる設問難易度におけるパターンを可視化した。

実験結果

リサーチクエスチョン

• RQ1 設問に対する反応時間は、正答の可能性にどのように関係しているか？
• RQ2 反応時間と正答性の関係は、男性と女性の試験受験者で異なるか？
• RQ3 設問の難易度は、反応時間と正答可能性の関係をどのように調整するか？
• RQ4 反応時間は、試験への取り組み具合や戦略の指標としてどの程度役立つか？
• RQ5 反応時間のばらつきは、項目パラメータ推定および能力測定におけるバイアスにどのような影響を及えるか？

主な発見

• 反応時間が速いほど正答の可能性が高くなり、特に男子受験者において顕著であった。
• 反応が速い男子は、反応が遅い男子よりも有意に高い正答率を示したが、女子には同様の傾向は認められなかった。
• 反応時間と正答性の関係の強さは設問の難易度によって異なり、易しい設問でより強い効果が観察された。
• 本研究では、反応時間が能力推定の信頼性に影響を与える意味のある行動的指標であるという証拠が得られた。
• 性別および設問難易度による差異のある反応パターンは、反応時間を無視した場合の低利害テストにおけるバイアスの原因となる可能性がある。
• 本研究の結果から、心理測定モデルに反応時間を組み込むことで、能力推定の正確性が向上し、パラメータバイアスを低減できる可能性がある。