[论文解读] Test item response time and the response likelihood

Srdjan Verbić, Boris Tomic|ArXiv.org|Jan 27, 2009

Psychometric Methodologies and Testing参考文献 18被引用 6

一句话总结

本研究探讨了计算机化物理测试题中作答时间与正确答案可能性之间的相关性，发现较快的作答时间更可能带来正确答案，尤其在男生中更为显著，且这种关系因题目难度而异。结果表明，作答时间是测试行为的有意义指标，可为低阶测试中的能力估计和偏差检测提供参考。

ABSTRACT

Test takers do not give equally reliable responses. They take different responding strategies and they do not make the same effort to solve the problem and answer the question correctly. The consequences of differential test takers' behavior are numerous: the test item parameters could be biased, there might emerge differential item functioning for certain subgroups, estimation of test taker's ability might have greater error, etc. All the consequences are becoming more prominent at low-stakes tests where test takers' motivation is additionally decreased. We had analyzed a computer based test in Physics and tried to find and describe relationship between the item response time and the item response likelihood. We have found that magnitude of such relationship depends on the item difficulty parameter. We have also noticed that boys, who respond faster, in average, give responses with greater likelihood than the boys who respond slower. The same trend was not detected for girls.

研究动机与目标

• 探讨计算机化测试中测试题作答时间与正确回答概率之间的关系。
• 调查作答时间是否对不同性别群体的作答正确性产生差异性影响。
• 评估题目难度如何调节作答时间与正确性之间的关系。
• 探讨在低阶测试环境中，作答时间对项目参数估计和能力测量偏差的影响。
• 提供证据表明，作答时间可作为测试努力程度或策略的行为指标。

提出的方法

• 分析了在学生样本中实施的计算机化物理测试中收集的作答时间与正确性数据。
• 采用项目反应理论（IRT）框架，将正确回答的概率建模为作答时间的函数。
• 通过将题目划分为高难度和低难度组，检验题目难度与作答时间的交互作用。
• 按性别进行子群分析，以评估作答时间与正确性概率的差异性模式。
• 应用统计建模方法，量化作答时间与作答正确性概率之间关系的强度和方向。
• 使用散点图和趋势线可视化关系，以说明不同题目难度下的模式。

实验结果

研究问题

• RQ1 作答时间如何影响测试题正确回答的可能性？
• RQ2 作答时间与正确性之间的关系在男性和女性测试者之间是否存在差异？
• RQ3 题目难度如何调节作答时间与正确性概率之间的关系？
• RQ4 作答时间在多大程度上可作为测试努力程度或策略的指标？
• RQ5 作答时间的变异性对项目参数估计和能力测量中的偏差有何影响？

主要发现

• 较快的作答时间与更高的正确答案可能性相关，尤其在男生中更为显著。
• 作答速度较快的男生比作答较慢的男生具有显著更高的正确率，而女生中未观察到类似趋势。
• 作答时间与正确性之间关系的强度因题目难度而异，在较容易的题目中效应更强。
• 本研究发现，作答时间是具有意义的行为指标，可能影响能力估计的可靠性。
• 性别和题目难度导致的差异性作答模式表明，若忽略作答时间，低阶测试中可能存在潜在偏差来源。
• 结果表明，将作答时间纳入心理测量模型可能提高能力估计的准确性，并减少参数偏差。