[論文レビュー] Range restriction, admissions criteria, and correlation studies of standardized tests

Alexander R. Small|arXiv (Cornell University)|Sep 9, 2017

Medical Education and Admissions参考文献 19被引用数 5

ひとこと要約

本論文はコンピュータシミュレーションを用いて、入学選抜における範囲制限が標準化試験成績と学業成績の間の観察された相関を歪めることを示しており、試験成績が一般応募者集団全体では予測的である場合でも、成功した科学者の中での低スコアなGRE成績が統計的に妥当であることを明らかにしている。研究は、選抜基準が観察された相関を著しく影響することを示しており、制限されたサンプルに基づく試験の妥当性の解釈に疑問を呈している。

ABSTRACT

Recent and influential critiques of standardized testing have noted the existence of non-trivial numbers of successful scientists who received low scores on the GRE. Here we use computer simulations to show that the prevalence of such examples is consistent with the reasonable hypothesis that academic performance depends on multiple variables. We examine the effects of admissions criteria on the observed predictive power of different variables, and show that observed correlations between student performance and student characteristics depend as much on the method of selecting students as on causal relationships detectable in the wider applicant pool. This is an example of the well-known statistical phenomenon of range restriction, and we offer relevant caveats and recommendations for further studies of admissions tests. We also show that the magnitude of range restriction effects depend on how student characteristics are weighted in admissions decisions.

研究の動機と目的

• 標準化試験成績と学業成績の間の観察された相関に、入学選抜における範囲制限がどのように影響するかを調査すること。
• 異なる選抜基準が試験成績の予測妥当性に及ぼす影響を評価すること。
• 成功した科学者に低スコアな試験成績が見られるのを、試験の妥当性に対する反証と解釈することを挑戦すること。
• 制限された学術的サンプルからの相関研究を解釈するための統計的ガイドラインを提供すること。

提案手法

• 複数のパフォーマンス関連変数（標準化試験成績を含む）を含む応募者プールをモデル化するためにコンピュータシミュレーションが用いられた。
• 試験成績の重みを異なる方法で設定したさまざまな選抜基準をシミュレートし、実際の大学院プログラムに類似した制限付きサンプルを作成した。
• 制限付きサンプル内で試験成績とパフォーマンスの間の観察された相関を計算し、真の母集団相関と比較した。
• 試験成績の重みを変化させることで、範囲制限効果の大きさを定量化した。
• 信頼性および予測変数の分散に基づく補正を含む、範囲制限を補正する統計的手法が適用された。
• 予測変数の組み合わせや選抜の閾値の違いが、観察された相関にどのように影響するかを分析した。

実験結果

リサーチクエスチョン

• RQ1 入学選抜における範囲制限は、標準化試験成績と学業成績の間の観察された相関にどのように影響するか？
• RQ2 異なる選抜基準は、制限付きサンプルにおける試験成績の予測力にどの程度影響を及ぼすか？
• RQ3 なぜ一部の非常に成功した科学者に低スコアな標準化試験成績が見られるのか。これは試験の妥当性と矛盾するのか？
• RQ4 選抜意思決定における試験成績の重みは、範囲制限効果の大きさにどのように影響するか？
• RQ5 応募者プールが制限されている場合に、相関研究を正確に解釈するために必要な補正は何か？

主な発見

• 真の母集団では強い相関がある場合でも、範囲制限により制限付きサンプルにおける標準化試験成績と学業成績の間の観察された相関は著しく低下する。
• 範囲制限効果の大きさは、試験成績が選抜決定でどのように重み付けされているかに強く依存しており、試験成績の重みが高いほど歪みが拡大する。
• 成功した科学者に低スコアなGRE成績が見られるのは、一般応募者集団全体では試験成績とパフォーマンスの間に有効な予測関係がある場合に統計的に整合的である。
• 範囲制限を補正することで、制限付きサンプルにおいて試験の真の予測妥当性がしばしば低く評価されていることが明らかになった。
• 試験成績の重みをより高く設定する選抜基準は、より大きな範囲制限と、したがって観察された相関のより大きな歪みをもたらす。
• 本研究は、観察された相関を補正して真の母集団相関を推定するためのフレームワークを提供しており、今後の試験成績に関する研究の妥当性を高める。