[논문 리뷰] Should College Dropout Prediction Models Include Protected Attributes?

Renzhe Yu, Hansol Lee외 1명|arXiv (Cornell University)|2021. 03. 28.

Online Learning and Analytics참고 문헌 35인용 수 7

한 줄 요약

이 연구는 미국의 연구 중심 대학에 소속된 93,457명의 학생 데이터를 바탕으로, 대학 중도탈락 예측 모델에 성별, 소수자 인종/민족(URM), 1세대 대학 진학자 신분, 재정적 필요 여부와 같은 보호되는 특성을 포함하는 것이 성능을 저하시키지 않으면서 공정성을 향상시키는지 평가한다. 결과적으로 이러한 특성을 포함함으로써 공정성은 약간 향상되고 전체 정확도에 부정적인 영향을 주지 않으며, 구조적 불평등을 시정하기 위해 이러한 특성의 포함을 지지한다.

ABSTRACT

Early identification of college dropouts can provide tremendous value for improving student success and institutional effectiveness, and predictive analytics are increasingly used for this purpose. However, ethical concerns have emerged about whether including protected attributes in the prediction models discriminates against underrepresented student groups and exacerbates existing inequities. We examine this issue in the context of a large U.S. research university with both residential and fully online degree-seeking students. Based on comprehensive institutional records for this entire student population across multiple years, we build machine learning models to predict student dropout after one academic year of study, and compare the overall performance and fairness of model predictions with or without four protected attributes (gender, URM, first-generation student, and high financial need). We find that including protected attributes does not impact the overall prediction performance and it only marginally improves algorithmic fairness of predictions. While these findings suggest that including protected attributes is preferred, our analysis also offers guidance on how to evaluate the impact in a local context, where institutional stakeholders seek to leverage predictive analytics to support student success.

연구 동기 및 목표

• 보호되는 특성(성별, 소수자 인종/민족, 1세대 대학 진학자, 재정적 필요)을 대학 중도탈락 예측 모델에 포함하는 것이 전체 성능을 떨어뜨리지 않으면서 알고리즘적 공정성을 향상시키는지 조사하는 것.
• 학생 유지를 둘러싼 역사적 불평등을 반영하는 사회경제적 특성을 배제하는 것이 윤리적으로 어떤 영향을 미치는지 평가하는 것.
• 기관이 지역 예측 모델링 환경에서 보호되는 특성의 영향을 평가할 수 있는 실용적 프레임워크를 제공하는 것.
• 단일 특성 분석을 넘어서 다중 특성 공정성 평가 방법을 개발하고 구현하는 것.

제안 방법

• 93,457명의 학위 취득을 목표로 하는 학생들을 대상으로, 주로 등록된 프로그램과 완전히 온라인 프로그램에서 1년 이내 중도탈락 여부를 예측하기 위해 기관 데이터를 기반으로 기계학습 모델을 구축했다.
• 보호되는 특성을 배제한 '블라인드(_BLIND_)' 모델과 포함한 '의식적(AWARE)' 모델의 두 유형을 비교하였으며, 동일한 기관 특성 세트를 사용했다.
• 표준 성능 지표(정확도, 재현율)와 보호되는 특성에 따른 그룹 간 예측 불일치를 기반으로 공정성 수준을 평가했다.
• 개별 랭킹 차이와 그룹 수준의 성능 지표를 포함한 다양한 집계 수준에서 공정성을 평가하기 위해 시각화 및 통계적 비교를 수행했다.
• 다중 보호 특성과 성능 지표를 동시에 분석하는 다층적 공정성 평가 접근법을 적용했다.
• 공정성 진단 기법을 사용하여 보호되는 특성이 예측 결과에 미치는 보상 효과 또는 분리 효과를 탐지했다.

실험 결과

연구 질문

• RQ1 보호되는 특성을 중도탈락 예측 모델에 포함하는 것이 전체 예측 성능을 떨어뜨리는가?
• RQ2 보호되는 특성을 포함함으로써 학생 중도탈락 예측에서 알고리즘적 공정성이 어느 정도 향상되는가?
• RQ3 보호되는 특성을 포함하거나 배제할 경우, 보호되는 그룹 간 예측 결과는 어떻게 다를까?
• RQ4 높은 교육 기관 내 구조적 불평등을 고려할 때, 보호되는 특성을 배제하는 것이 공정성에 어떤 영향을 미치는가?
• RQ5 여러 보호되는 특성이 동시에 포함된 경우 기관은 어떻게 효과적으로 예측 모델의 공정성을 평가할 수 있는가?

주요 결과

• 보호되는 특성을 포함하더라도 전체 예측 성능에 유의미한 부정적 영향을 주지 않았으며, AWARE 모델은 주로 등록된 학생들에 대해 84%의 정확도, 온라인 학생들에 대해선 76%의 정확도를 기록했다.
• 보호되는 특성의 포함으로 공정성이 약간 향상되었으며, 특히 역사적으로 더 높은 위험군으로 간주되던 URM 및 1세대 학생들의 예측 중도탈락 위험을 약간 감소시켰다.
• 보호되는 특성의 보상 효과는 통계적으로 유의미하지 않았으며, 이는 연구 대학에서의 이전 중도탈락률 격차가 크지 않았기 때문일 것이다.
• 연구에서는 분리 효과의 증거를 발견하지 못했고, 오히려 보호되는 특성이 약한 그러나 유리한 보상 효과를 유도함으로써, 구조적 불평등을 보완하는 데 도움이 될 수 있음을 시사했다.
• 보호되는 특성을 배제하는 것은 기존의 불평등을 강화하는 '색맹' 철학을 반영할 수 있으며, 이는 공정성 인식 모델링에서 이러한 특성의 포함을 지지하는 근거가 된다.
• 제안된 다중 특성 공정성 평가 프레임워크는 공정성 문제의 민감한 진단을 가능하게 하며, 기관에서 실시간 공정성 대시보드에 적용할 수 있다.