[논문 리뷰] Exam fairness

Mathieu Bouville|arXiv (Cornell University)|2008. 03. 29.

Engineering Education and Curriculum Development참고 문헌 10인용 수 5

한 줄 요약

이 논문은 기존의 시험 공정성 개념—처리의 공정성과 기회 공정성—이 평가 현장에서의 실질적 딜레마를 해결하지 못한다고 주장한다. 대신 학생 간 비교를 외부 기준으로 대체하여, 상대적 성과가 아닌 정의 원칙에 기반한 평가 평가 프레임워크를 제안한다.

ABSTRACT

It is widely agreed that exams must be fair; yet what this exactly means is not made clear. One may mean fairness of treatment, but this merely propagates the fairness or unfairness of pre-existing rules. Fairness of opportunity on the other hand necessarily leads to identical grades for everyone, which clearly makes it inapplicable. Neither view is helpful to make decisions on competing claims: fairness of treatment ignores the problem and fairness of opportunity holds all claims to be equally valid. To escape this deadlock one needs an external criterion to replace fairness viewed as student-student comparison. Keywords: assessment; bias; engineering education; examinations; grading; justice; tests

연구 동기 및 목표

• 교육 시험에서의 공정성 정의에 대한 모호성을 해결하기 위해.
• 처리의 공정성과 기회 공정성이라는 기존의 공정성 모델을 비판적으로 분석하여 실세계 평가 갈등을 해결하는 데 부적절하다는 점을 밝히기 위해.
• 상대적 학생 성과를 넘어서 외부 기준이 필요로 하는 이유를 규명하기 위해.
• 학생 간 비교에서 정의 기반 기준으로의 전환을 제안하기 위해.
• 공정성을 평가하는 개념적 프레임워크를 제공하여, 결과나 절차의 동일성보다 정의의 원칙을 우선시하는 평가 방식을 정의하기 위해.

제안 방법

• 처리의 공정성이 기존 규칙의 정당성 여부를 평가하지 않고 그대로 따르므로, 그 한계를 분석하기 위해.
• 기회 공정성이 모든 학생이 동일한 성적을 받아야 한다는 논리적 결론을 내어 실용적이지 않다는 점을 비판적으로 분석하기 위해.
• 학생 간 비교 외부의 기준이 되는 외부 기준이 공정성 평가에 필요하다는 점을 제시하기 위해.
• 특히 절차적 정의와 배분적 정의 원칙을 활용하여, 시험의 공정성 개념을 정의 기반 기준으로 재구성하기 위해.
• 철학적 추론을 통해 공정성은 내부 비교가 아닌 외부 윤리 기준에 뿌리를 두어야 한다고 주장하기 위해.
• 특히 공학 교육 분야에서의 평가 상황에 이 프레임워크를 적용하여 채점 및 시험 관행을 평가하기 위해.

실험 결과

연구 질문

• RQ1 시험 공정성을 처리의 공정성 또는 기회 공정성으로 정의하는 데서 기인하는 근본적 결함는 무엇인가?
• RQ2 기존의 공정성 모델이 평가 현장에서의 상충되는 주장을 해결하지 못하는 이유는 무엇인가?
• RQ3 교육 시험 및 채점에서 외부 기준을 어떻게 설정할 수 있는가?
• RQ4 정의는 학업 평가에서 공정성 재정의에 있어 어떤 역할을 하는가?
• RQ5 시험에서 학생 간 비교 없이 공정성은 어떻게 평가할 수 있는가?

주요 결과

• 처리의 공정성은 기존 규칙의 정당성 여부를 평가하지 않기 때문에 부족하다.
• 기회 공정성은 모든 학생이 동일한 성적을 받아야 한다는 결론을 내어 현실 평가에 적용하기 어렵다.
• 학생 간 비교는 외부 평가 기준이 없기 때문에 공정성 논란을 해결할 수 없다.
• 정의 원칙에 뿌리를 두는 외부 기준이 있어야 평가를 의미 있게 평가할 수 있다.
• 내부 비교를 정의 기반 기준으로 대체함으로써 채점 및 시험에서 더 일관되고 타당한 결정을 내릴 수 있다.
• 논문은 시험의 공정성이 상대적 성과나 절차적 일관성만으로는 정의되지 않으며, 윤리 원칙에 기반해 재정의되어야 한다고 규명한다.