[論文レビュー] Towards Equalised Odds as Fairness Metric in Academic Performance Prediction

Jannik Dunkelau, Manh Khoi Duong|arXiv (Cornell University)|Sep 29, 2022

Online Learning and Analytics被引用数 5

ひとこと要約

本稿では、学業成績予測（APP）システムの『あなたが見るものはあなたが得るもの』（WYSIWYG）的世界観と長期的公平性の可能性を根拠に、等価オッズがAPPに最も適した公平性指標であると主張している。等価オッズは、性的なグループ間で真陽性率（TPR）と偽陽性率（FPR）が等しくなるように保証することで、責任あるAPPと整合性を保ち、この文脈において、人種的公平性やその他の公平性概念よりも優れていることを示している。

ABSTRACT

The literature for fairness-aware machine learning knows a plethora of different fairness notions. It is however wellknown, that it is impossible to satisfy all of them, as certain notions contradict each other. In this paper, we take a closer look at academic performance prediction (APP) systems and try to distil which fairness notions suit this task most. For this, we scan recent literature proposing guidelines as to which fairness notion to use and apply these guidelines onto APP. Our findings suggest equalised odds as most suitable notion for APP, based on APP's WYSIWYG worldview as well as potential long-term improvements for the population.

研究の動機と目的

• 学業成績予測（APP）システムに最も適した公平性概念を特定すること。
• APPの独自な運用的・倫理的文脈を踏まえて、公平性指標を評価すること。
• 等価オッズ、人種的公平性、その他の公平性概念が、責任あるかつ公平なAPPをどのように支援するかを評価すること。
• 公平性指標が長期的な学生の成果とシステムへの信頼に与える影響を検討すること。
• APP研究および実務における公平性指標選定の原則的根拠を提供すること。

提案手法

• 著者らは、特に『あなたが見るものはあなたが得るもの』（WYSIWYG）と『あなたが期待するもの』（WAE）の視点を区別する世界観に基づくフレームワークを用いて、公平性概念を分析している。
• 文脈的ガイドラインの導出を目的として、文脈的パラメータに基づく公平性指標選定のための文献的レビューを実施している。特に、人種的公平性や等価オッズのようなパラメータベースの概念に焦点を当てている。
• 等価オッズは、性別グループ間で真陽性率（TPR）と偽陽性率（FPR）が等しくなることを要請するものとして形式的に定義されている。すなわち、P(Ŷ=1|Y=1,Z=z) = P(Ŷ=1|Y=1) および P(Ŷ=1|Y=0,Z=z) = P(Ŷ=1|Y=0) が成り立つこと。
• 本研究では、等価オッズの適切さを、早期警告システムとしてのAPPの実世界の用途と結びつけて評価している。
• 人種的公平性と比較し、後者は真のラベルを無視しており、ランダムな予測でも達成可能であると指摘している。
• インフラマージナリティの限界やグループ別閾値の必要性といった制約を検討し、予測の同等性や個人の公平性といった他の公平性概念とのトレードオフについても議論している。

実験結果

リサーチクエスチョン

• RQ1 学業成績予測システムにおいて、人種的公平性、等価オッズ、その他の公平性概念のうち、どれが最も適切な公平性概念か。
• RQ2 WYSIWYG的世界観は、APPにおける公平性指標選定にどのように影響を与えるか。
• RQ3 等価オッズは、学生の成果における長期的公平性とシステム的バイアスの低減に、どの程度貢献するか。
• RQ4 実世界のAPPシステムに等価オッズを適用する際の実務的限界は何か。
• RQ5 学生の公平性認識は、等価オッズ指標とどの程度一致するか。

主な発見

• 等価オッズは、WYSIWYG的世界観と整合することから、学業成績予測に最も適した公平性指標として特定された。
• 本研究では、等価オッズが人種的公平性よりも、学生の成果における長期的公平性と公平性をよりよく支持していることが判明した。
• 人種的公平性は、真のラベルに依存しないため、不適切とされ、非差別的ではあるが意味のない予測でも達成可能である。
• 等価オッズは、性別グループ間で真陽性率と偽陽性率が等しくなるように保証することで、公平性を確保し、正確な早期警告システムの目的と整合する。
• 本稿では、インフラマージナリティの限界やグループ別閾値の必要性といった制約を認めつつも、これらがAPPの文脈では管理可能であると主張している。
• 学生の公平性認識は手続き的公平性を好む傾向があり、これは等価オッズが支持するものであるが、一部の学生が好む分布的公平性にはトレードオフが伴う可能性がある。