[论文解读] Range restriction, admissions criteria, and correlation studies of standardized tests

Alexander R. Small|arXiv (Cornell University)|Sep 9, 2017

Medical Education and Admissions参考文献 19被引用 5

一句话总结

本文通过计算机模拟表明，招生过程中的范围限制会扭曲标准化考试成绩与学术表现之间观察到的相关性，表明即使考试成绩在更广泛的申请者群体中具有预测力，成功科学家群体中低GRE分数的情况在统计上仍是可能的。研究揭示了招生标准显著影响观察到的相关性，挑战了基于受限样本对考试有效性的解读。

ABSTRACT

Recent and influential critiques of standardized testing have noted the existence of non-trivial numbers of successful scientists who received low scores on the GRE. Here we use computer simulations to show that the prevalence of such examples is consistent with the reasonable hypothesis that academic performance depends on multiple variables. We examine the effects of admissions criteria on the observed predictive power of different variables, and show that observed correlations between student performance and student characteristics depend as much on the method of selecting students as on causal relationships detectable in the wider applicant pool. This is an example of the well-known statistical phenomenon of range restriction, and we offer relevant caveats and recommendations for further studies of admissions tests. We also show that the magnitude of range restriction effects depend on how student characteristics are weighted in admissions decisions.

研究动机与目标

• 调查招生过程中的范围限制如何影响标准化考试成绩与学术表现之间观察到的相关性。
• 评估不同招生标准对考试成绩预测效度的影响。
• 挑战将成功科学家群体中低分视为否定考试有效性的证据这一解读。
• 为在受限学术样本中解释相关性研究提供统计指导。

提出的方法

• 使用计算机模拟来建模包含多个与表现相关变量（包括标准化考试成绩）的申请者群体。
• 研究模拟了不同权重分配的招生标准，创建出与真实研究生项目相似的受限样本。
• 在受限样本内计算考试成绩与表现之间的观察相关性，并与总体真实相关性进行比较。
• 通过改变招生决策中考试成绩的权重，量化范围限制效应的大小。
• 应用统计技术对范围限制进行校正，包括基于预测变量可靠性与方差的校正方法。
• 分析不同预测变量组合与选拔阈值如何改变观察到的相关性。

实验结果

研究问题

• RQ1 招生过程中的范围限制如何影响标准化考试成绩与学术表现之间观察到的相关性？
• RQ2 不同招生标准在多大程度上改变了受限样本中考试成绩的预测能力？
• RQ3 为何一些非常成功的科学家拥有较低的标准化考试分数，这是否与考试的有效性相矛盾？
• RQ4 招生决策中分配给考试成绩的权重如何影响范围限制效应的大小？
• RQ5 当数据来自受限申请者群体时，需要采取何种校正措施才能准确解释相关性研究？

主要发现

• 由于范围限制，即使在总体中真实相关性较强，标准化考试成绩与学术表现之间的观察相关性在受限样本中仍显著降低。
• 范围限制效应的大小关键取决于考试成绩在招生决策中的权重分配，权重越高，扭曲越严重。
• 成功科学家中存在低GRE分数的情况，与考试成绩在更广泛申请者群体中具有有效预测关系的假设在统计上是一致的。
• 对范围限制进行校正后发现，标准化考试的真实预测效度在受限样本中往往被低估。
• 招生标准中更强调考试成绩的，会导致更大的范围限制，从而造成观察相关性更大的扭曲。
• 本研究提供了一套框架，用于将观察相关性校正为真实总体相关性，从而提高未来关于考试表现研究的有效性。