[論文レビュー] Predicting Early Dropout: Calibration and Algorithmic Fairness Considerations

Marzieh Karimi-Haghighi, Carlos Castillo+2 more|arXiv (Cornell University)|Mar 16, 2021

Ethics and Social Impacts of AI参考文献 34被引用数 9

ひとこと要約

本稿では、入学時データ（人種的背景、高校、入学成績など）を用いて、大学1年生の早期退学および成績不振を予測するキャリブレーション済み機械学習モデルを提案する。AUCスコアが0.77–0.78の範囲にとどまり、人種的背景ごとの性能が安定しており、誤検出率の一般化された差異が小さく抑えられ、誤検出率の上昇も抑制されているものの、キャリブレーションは損なわれていない。

ABSTRACT

In this work, the problem of predicting dropout risk in undergraduate studies is addressed from a perspective of algorithmic fairness. We develop a machine learning method to predict the risks of university dropout and underperformance. The objective is to understand if such a system can identify students at risk while avoiding potential discriminatory biases. When modeling both risks, we obtain prediction models with an Area Under the ROC Curve (AUC) of 0.77-0.78 based on the data available at the enrollment time, before the first year of studies starts. This data includes the students' demographics, the high school they attended, and their admission (average) grade. Our models are calibrated: they produce estimated probabilities for each risk, not mere scores. We analyze if this method leads to discriminatory outcomes for some sensitive groups in terms of prediction accuracy (AUC) and error rates (Generalized False Positive Rate, GFPR, or Generalized False Negative Rate, GFNR). The models exhibit some equity in terms of AUC and GFNR along groups. The similar GFNR means a similar probability of failing to detect risk for students who drop out. The disparities in GFPR are addressed through a mitigation process that does not affect the calibration of the model.

研究の動機と目的

• 入学時時点で入手可能なデータを用いて、大学の学生の早期退学および成績不振を予測する機械学習システムを開発すること。
• モデルの予測が適切にキャリブレーションされており、生のスコアではなく信頼性の高い確率推定値を提供すること。
• 感受性のある人種的背景グループごとの予測精度（AUC）および誤差率（GFPR、GFNR）の差異を分析することで、アルゴリズムの公平性を評価すること。
• モデルのキャリブレーションを損なわせることなく、誤検出率の不平等な差異を是正すること。
• モデルが異なる人種的背景グループにおけるリスクを有する学生を均等に検出できるかどうかを評価すること。

提案手法

• モデルは、学生の人種的背景、通った高校、入学平均成績といった入学時の特徴量を用いる。
• 機械学習アルゴリズムが、退学および成績不振の2つの結果を予測し、キャリブレーション済みの確率推定値を出力する。
• 適切な確率スコア評価手法を用いてモデルのキャリブレーションを保証し、生の予測スコアに依存しないようにする。
• 公平性の評価のために、一般化誤検出率（GFPR）および一般化誤検出率（GFNR）を計算する。
• モデルのキャリブレーションを劣化させることなく、GFPRにおける差異を低減するための是正プロセスを適用する。
• 性能評価には受検者受信特性曲線下積分（AUC）を用い、サブグループ分析を通じて公平性を評価する。

実験結果

リサーチクエスチョン

• RQ1 入学時データを用いた機械学習モデルは、早期退学および成績不振を高い精度で予測できるか？
• RQ2 異なる人種的背景グループにおいて、予測結果はどの程度キャリブレーションされているか？
• RQ3 感受性のあるグループ間で、誤検出率や誤検出率に顕著な差異が生じるか？
• RQ4 GFPRにおける公平性の差異は、モデルのキャリブレーションを損なわせることなく是正可能か？
• RQ5 最終的に退学する学生を検出する能力（GFNR）が、人種的背景グループ間で均等に保たれるか？

主な発見

• モデルは、入学時データのみを用いて、退学および成績不振の予測においてAUCが0.77–0.78を達成した。
• モデルは適切にキャリブレーションされており、各学生のリスクに関する信頼性の高い確率推定値を出力している。
• 人種的背景グループ間での一般化誤検出率（GFNR）の差異は最小限であり、退学する学生の検出率が同程度であることを示している。
• 一般化誤検出率（GFPR）における差異は観察されたが、公平性に配慮した後処理ステップにより、効果的に是正された。
• 是正プロセスはモデルのキャリブレーションを保持しており、グループ間で確率推定値が信頼できるままであることを保証している。
• 結果から、モデルは予測性能と公平性を損なわせることなく、均等なリスク同定を支援していることが示唆される。