[論文レビュー] Should College Dropout Prediction Models Include Protected Attributes?

Renzhe Yu, Hansol Lee+1 more|arXiv (Cornell University)|Mar 28, 2021

Online Learning and Analytics参考文献 35被引用数 7

ひとこと要約

本研究では、大学の退学予測モデルに性別、マイノリティのレース/エスニシティ（URM）、先駆者状態、経済的支援要件といった保護属性を組み込むことで、パフォーマンスを損なうことなく公平性が向上するかどうかを評価している。米国の研究大学に在籍する93,457名の学生のデータを用いて、保護属性を組み込むことで公平性がわずかに向上し、全体の正確性に悪影響を及ぼさないことが判明。これは、構造的不平等に対処するための組み込みを支持する。

ABSTRACT

Early identification of college dropouts can provide tremendous value for improving student success and institutional effectiveness, and predictive analytics are increasingly used for this purpose. However, ethical concerns have emerged about whether including protected attributes in the prediction models discriminates against underrepresented student groups and exacerbates existing inequities. We examine this issue in the context of a large U.S. research university with both residential and fully online degree-seeking students. Based on comprehensive institutional records for this entire student population across multiple years, we build machine learning models to predict student dropout after one academic year of study, and compare the overall performance and fairness of model predictions with or without four protected attributes (gender, URM, first-generation student, and high financial need). We find that including protected attributes does not impact the overall prediction performance and it only marginally improves algorithmic fairness of predictions. While these findings suggest that including protected attributes is preferred, our analysis also offers guidance on how to evaluate the impact in a local context, where institutional stakeholders seek to leverage predictive analytics to support student success.

研究の動機と目的

• 保護属性を大学の退学予測モデルに組み込むことで、アルゴリズムの公平性が向上するか、全体のパフォーマンスが低下しないかを調査すること。
• 学生の定着に関する歴史的不平等を反映する社会的・文化的要因（例えば、教育的背景）を除外することの倫理的含意を評価すること。
• 機関が地域の予測モデリングの文脈で保護属性の影響を評価するための実用的フレームワークを提供すること。
• 単一属性分析を越えた、複数の保護属性とパフォーマンス指標を同時に分析する多様な公平性評価手法を開発・実証すること。

提案手法

• 93,457名の学位取得志望学生（寄宿制および完全オンラインプログラム）を対象に、機械学習モデルを構築し、1年以内の退学を予測した。
• 保護属性を含む「AWARE」モデルと含まない「BLIND」モデルの2種類のモデルタイプを比較し、同じ機関の特徴量セットを用いた。
• 標準的な指標（正解率、再現率）を用いてモデルのパフォーマンスを評価し、保護属性ごとのグループごとの予測差を公平性指標として用いた。
• 可視化と統計的比較を用いて、個々の順位差やグループレベルのパフォーマンス指標を含む、複数の集計レベルでの公平性を評価した。
• 複数の保護属性とパフォーマンス指標を同時に分析する多面的な公平性評価アプローチを採用した。
• 公平性診断を用いて、保護属性が予測結果に与える補償的効果（compensatory）と分離的効果（segregating）を特定した。

実験結果

リサーチクエスチョン

• RQ1 保護属性を退学予測モデルに組み込むことで、全体の予測パフォーマンスが低下するか？
• RQ2 保護属性を組み込むことで、学生の退学予測におけるアルゴリズムの公平性はどの程度向上するか？
• RQ3 保護属性を含む場合と含まない場合とで、保護グループごとの予測結果にどのような差が生じるか？
• RQ4 保護属性を除外することの公平性への影響は何か、特に高等教育における構造的不平等の文脈で。
• RQ5 複数の保護属性を含む状況で、機関が予測モデルの公平性を効果的に評価するにはどうすればよいか？

主な発見

• 保護属性を組み込むことで、全体の予測パフォーマンスに顕著な悪影響はなく、AWAREモデルでは寄宿制学生で84％、オンライン学生で76％の正解率を達成した。
• 保護属性の組み込みにより、公平性がわずかに向上し、特にURMや先駆者状態の学生といった、歴史的に高いリスクにあったグループの予測退学リスクがわずかに低下した。
• 保護属性による補償的効果は統計的に有意ではなかったが、これは当該機関において過去の退学率の格差が大きくないためと推察される。
• 本研究では分離的効果（segregating effect）の証拠は得られず、むしろ弱いが肯定的な補償的効果が見られた。これは、保護属性が構造的不平等を是正するのに役立つ可能性を示唆している。
• 保護属性を除外することは、差別のを助長する「色盲的」なアイデオロギーを反映しており、公平性に配慮したモデリングにおける保護属性の組み込みを強化する根拠となる。
• 提案された多属性公平性評価フレームワークにより、公平性問題の感受性の高い診断が可能となり、機関がリアルタイムの公平性ダッシュボードとして活用できる。