[논문 리뷰] Towards Equalised Odds as Fairness Metric in Academic Performance Prediction

Jannik Dunkelau, Manh Khoi Duong|arXiv (Cornell University)|2022. 09. 29.

Online Learning and Analytics인용 수 5

한 줄 요약

이 논문은 학업 성취도 예측(APP) 시스템의 '보이는 그대로' (WYSIWYG) 세계관과 장기적 형평성 잠재력에 기반하여, 등가된 우도가 APP에 가장 적합한 형평성 지표임을 주장한다. 이는 다양한 인구 집단 간에 동일한 진성 양성 및 위양성 비율을 보장함으로써 책임감 있는 APP와 더 잘 부합하며, 이 경우 다른 형평성 개념들보다 등가된 우도가 뛰어난 성능을 보임을 입증한다.

ABSTRACT

The literature for fairness-aware machine learning knows a plethora of different fairness notions. It is however wellknown, that it is impossible to satisfy all of them, as certain notions contradict each other. In this paper, we take a closer look at academic performance prediction (APP) systems and try to distil which fairness notions suit this task most. For this, we scan recent literature proposing guidelines as to which fairness notion to use and apply these guidelines onto APP. Our findings suggest equalised odds as most suitable notion for APP, based on APP's WYSIWYG worldview as well as potential long-term improvements for the population.

연구 동기 및 목표

• 학업 성취도 예측(APP) 시스템에 가장 적합한 형평성 개념을 규명하는 것.
• APP의 고유한 운영 및 윤리적 맥락을 고려하여 형평성 지표를 평가하는 것.
• 등가된 우도, 민족적 평등 또는 기타 형평성 개념 중에서 책임감 있고 공정한 APP를 지원하는 데 가장 적합한 것이 무엇인지 평가하는 것.
• 형평성 지표가 장기적 학생 성과와 시스템 신뢰도에 미치는 영향을 분석하는 것.
• APP 연구 및 실무에서 형평성 지표를 선택하는 데 있어 원칙적인 근거를 제공하는 것.

제안 방법

• 저자는 세계관 기반의 프레임워크를 사용하여 형평성 개념을 분석하며, 특히 '보이는 그대로' (WYSIWYG)와 '기대하는 그대로' (WAE) 관점 간의 차이를 부각한다.
• 문헌 고찰을 통해 형평성 지표 선택을 위한 지침을 도출하며, 민족적 평등과 등가된 우도와 같은 평등 기반 개념에 집중한다.
• 등가된 우도는 다양한 인구 집단 간에 동일한 진성 양성 비율(TPR)과 위양성 비율(FPR)을 요구하는 것으로 정의되며, 수식으로는 P(Ŷ=1|Y=1,Z=z) = P(Ŷ=1|Y=1) 및 P(Ŷ=1|Y=0,Z=z) = P(Ŷ=1|Y=0)로 표현된다.
• 연구는 등가된 우도의 적합성을 분석하기 위해 실제 APP 응용 사례인 학생 간섭을 위한 조기 경고 시스템과 연결한다.
• 민족적 평등과 대비하여, 후자는 기저 진실을 忽시하고 무작위 예측으로도 달성될 수 있음을 강조한다.
• 저자는 인프라 마진성 및 집단별 임계값 필요성 등의 제약 조건을 고려하며, 예측 정밀도 및 개인적 형평성과 같은 다른 형평성 개념과의 상충 관계도 논의한다.

실험 결과

연구 질문

• RQ1 민족적 평등, 등가된 우도 또는 기타 형평성 개념 중에서 학업 성취도 예측 시스템에 가장 적합한 것은 무엇인가?
• RQ2 WYSIWYG 세계관은 APP에서 형평성 지표 선택에 어떻게 영향을 미치는가?
• RQ3 등가된 우도는 학생 성과의 장기적 형평성과 체계적 편향 감소에 어느 정도 기여하는가?
• RQ4 실제 APP 시스템에 등가된 우도를 적용할 때의 실용적 제약 조건은 무엇인가?
• RQ5 학생들이 형평성에 대해 느끼는 인식은 등가된 우도 지표와 얼마나 부합하는가?

주요 결과

• 등가된 우도는 WYSIWYG 세계관과의 부합성 때문에 학업 성취도 예측에 가장 적합한 형평성 지표로 규명되었다.
• 연구 결과, 민족적 평등보다 등가된 우도가 장기적 형평성과 학생 성과의 공정성 향상에 더 잘 기여하는 것으로 나타났다.
• 민족적 평등은 기저 진실과 무관하기 때문에 부적절하게 간주되며, 비차별적이지만 의미 없는 예측으로도 달성될 수 있다.
• 등가된 우도는 다양한 인구 집단 간에 동일한 진성 양성 및 위양성 비율을 보장함으로써 정확한 조기 경고 시스템의 목표와 부합한다.
• 연구는 인프라 마진성 및 집단별 임계값 필요성 등의 제약 조건을 인정하지만, 이러한 문제들은 APP 맥락에서는 관리 가능하다고 주장한다.
• 학생들의 형평성 인식은 절차적 형평성에 기반할 수 있으며, 이는 등가된 우도가 지원하는 바와 부합할 수 있으나, 일부 학생들이 선호하는 분포적 형평성은 상충 관계를 수반할 수 있다.