[論文レビュー] Exam fairness

Mathieu Bouville|arXiv (Cornell University)|Mar 29, 2008

Engineering Education and Curriculum Development参考文献 10被引用数 5

ひとこと要約

この論文は、従来の試験の公平性に関する概念—処遇の公平性と機会の公平性—が、評価における実務的ジレンマを解決できないと主張している。代わりに、学生同士の比較に代わって外部基準を公平性の基準に採用することを提案し、相対的成績ではなく、正義の原則に基づく評価フレームワークを提示している。

ABSTRACT

It is widely agreed that exams must be fair; yet what this exactly means is not made clear. One may mean fairness of treatment, but this merely propagates the fairness or unfairness of pre-existing rules. Fairness of opportunity on the other hand necessarily leads to identical grades for everyone, which clearly makes it inapplicable. Neither view is helpful to make decisions on competing claims: fairness of treatment ignores the problem and fairness of opportunity holds all claims to be equally valid. To escape this deadlock one needs an external criterion to replace fairness viewed as student-student comparison. Keywords: assessment; bias; engineering education; examinations; grading; justice; tests

研究の動機と目的

• 教育的試験における公平性の定義に内在する曖昧さを解消すること。
• 処遇の公平性と機会の公平性という既存の公平性モデルが、現実世界の評価的対立を解決するのに不十分であると批判すること。
• 相対的成績を超えた外部基準の必要性を特定すること。
• 学生同士の比較から、正義に基づく基準への移行を提案すること。
• 公平性を出力やプロセスの平等ではなく、正義という原則として優先する評価フレームワークを提供すること。

提案手法

• 処遇の公平性の限界を分析し、その基準が事前に存在するルールに依拠するが、それらのルール自体の正義性を検証しないこと。
• 機会の公平性を批判し、論理的に全学生に同一の成績を与える必要があると導くため、実務的には不実用的であると指摘すること。
• 学生間比較に依存しない、外部基準による公平性の評価の必要性を提示すること。
• 特に手続的正義と分配的正義の原則を用いて、試験における公平性の再概念化を提案すること。
• 哲学的推論を用いて、公平性が内部的比較ではなく、外部の倫理的基準に根ざすべきであると主張すること。
• このフレームワークを、特に工学教育を含む教育的評価の文脈に適用し、採点および試験の実務的慣行を評価すること。

実験結果

リサーチクエスチョン

• RQ1 試験の公平性を処遇の公平性または機会の公平性として定義することの根本的欠陥は何か？
• RQ2 なぜ従来の公平性モデルは、評価現場における対立を解決できないのか？
• RQ3 教育的試験および採点において、外部基準としての公平性をどのように確立できるか？
• RQ4 正義は、学術的評価における公平性の再定義において果たす役割は何か？
• RQ5 試験において、学生同士の比較に依存せずに公平性をどのように評価できるか？

主な発見

• 処遇の公平性は不十分である。なぜなら、既存のルールの正しさや不正しさを単に再現するだけで、それらのルール自体の正義性を検証しないからである。
• 機会の公平性は、全学生に同一の成績を与える必要があるという非現実的な結論を導くため、実務的評価には適用不可能である。
• 学生同士の比較は、公平性の紛争を解決できない。なぜなら、それらには評価のための外部基準が欠如しているからである。
• 正義の原則に基づく外部基準による公平性の評価が、意味のある評価を可能にするために不可欠である。
• 内部的比較から正義に基づく基準への移行により、採点および試験における意思決定がより一貫性があり、説得力を持つようになる。
• 本論文は、試験における公平性が、相対的成績や手続的一致性に依存するのではなく、倫理的原則に基づいて再定義されなければならないと確立している。