[논문 리뷰] Predicting Early Dropout: Calibration and Algorithmic Fairness Considerations

Marzieh Karimi-Haghighi, Carlos Castillo외 2명|arXiv (Cornell University)|2021. 03. 16.

Ethics and Social Impacts of AI참고 문헌 34인용 수 9

한 줄 요약

이 논문은 입학 시점 데이터(인구통계학적 정보, 고등학교 정보, 입학 평균 성적 포함)를 사용하여 학부생의 조기 중퇴 및 성과 부진을 예측하기 위한 校정된 기계학습 모델을 제안한다. AUC 점수 0.77–0.78의 성능을 기록하며, 다양한 인구통계학적 집단 간에 공정한 일반화된 거짓 부정률과 완화된 거짓 양성률을 보이며 캘리브레이션을 훼손하지 않음.

ABSTRACT

In this work, the problem of predicting dropout risk in undergraduate studies is addressed from a perspective of algorithmic fairness. We develop a machine learning method to predict the risks of university dropout and underperformance. The objective is to understand if such a system can identify students at risk while avoiding potential discriminatory biases. When modeling both risks, we obtain prediction models with an Area Under the ROC Curve (AUC) of 0.77-0.78 based on the data available at the enrollment time, before the first year of studies starts. This data includes the students' demographics, the high school they attended, and their admission (average) grade. Our models are calibrated: they produce estimated probabilities for each risk, not mere scores. We analyze if this method leads to discriminatory outcomes for some sensitive groups in terms of prediction accuracy (AUC) and error rates (Generalized False Positive Rate, GFPR, or Generalized False Negative Rate, GFNR). The models exhibit some equity in terms of AUC and GFNR along groups. The similar GFNR means a similar probability of failing to detect risk for students who drop out. The disparities in GFPR are addressed through a mitigation process that does not affect the calibration of the model.

연구 동기 및 목표

• 입학 시점에 이용 가능한 데이터를 활용하여 학부생의 조기 중퇴 및 성과 부진을 예측하는 기계학습 시스템을 개발하기 위해.
• 모델의 예측이 잘 校정되어 있어, 원시 점수 대신 신뢰할 수 있는 확률 추정치를 제공하도록 하기 위해.
• 민감한 인구통계학적 집단 간 예측 정확도(AUC) 및 오류 비율(GFPR, GFNR)의 격차를 분석함으로써 알고리즘 공정성 평가를 위해.
• 모델의 캘리브레이션을 훼손하지 않으면서도 거짓 양성률의 부당한 격차를 완화하기 위해.
• 모델이 다양한 인구통계학적 집단 간에 위험에 처한 학생들을 동등하게 탐지하는지 평가하기 위해.

제안 방법

• 모델은 학생의 인구통계학적 정보, 고등학교, 입학 평균 성적 등의 입학 시점 특징을 사용한다.
• 기계학습 알고리즘이 두 가지 결과(중퇴 및 성과 부진)를 예측하여 校정된 확률 추정치를 생성한다.
• 모델의 캘리브레이션은 원시 예측 점수에 의존하지 않는 적절한 확률 점수 기법을 통해 확보된다.
• 공정성 평가를 위해 일반화된 거짓 양성률(GFPR)과 일반화된 거짓 부정률(GFNR)을 계산한다.
• 모델 캘리브레이션을 떨어뜨리지 않으면서도 GFPR의 격차를 줄이기 위한 완화 과정을 적용한다.
• 성능 평가에는 수신기 작동 특성 곡선 아래 면적(AUC)을 사용하며, 하위집단 분석을 통해 공정성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 입학 시점 데이터로 훈련된 기계학습 모델이 조기 중퇴 및 성과 부진을 높은 정확도로 예측할 수 있는가?
• RQ2 예측 결과가 다양한 인구통계학적 집단 간에 얼마나 잘 校정되어 있는가?
• RQ3 민감한 집단 간에 거짓 양성률 또는 거짓 부정률에 유의미한 격차가 존재하는가?
• RQ4 GFPR의 공정성 격차는 모델 캘리브레이션을 훼손하지 않으면서 완화될 수 있는가?
• RQ5 최종적으로 중퇴하는 학생들을 탐지하는 데 있어 모델이 다양한 인구통계학적 집단 간에 동등한 감지율(GFNR)을 유지하는가?

주요 결과

• 모델은 입학 시점 데이터만을 사용하여 중퇴 및 성과 부진 예측에 AUC 0.77–0.78의 성능을 달성한다.
• 모델은 잘 校정되어 있어 각 학생의 위험도에 대한 신뢰할 수 있는 확률 추정치를 제공한다.
• 인구통계학적 집단 간 일반화된 거짓 부정률(GFNR) 격차가 최소화되어 있어, 중퇴하는 학생들의 탐지율이 유사함을 시사한다.
• 일반화된 거짓 양성률(GFPR)의 격차는 관찰되었지만, 공정성 인식 후처리 단계를 통해 성공적으로 완화되었다.
• 완화 과정은 모델 캘리브레이션을 유지하여, 다양한 집단 간 확률 추정치가 여전히 신뢰할 수 있음을 보장한다.
• 결과는 모델가 예측 성능와 공정성을 유지하면서도 공정한 위험 식별을 지원함을 시사한다.