[論文レビュー] On the Applicability of ML Fairness Notions.

Karima Makhlouf, Sami Zhioua+1 more|arXiv (Cornell University)|Jun 30, 2020

Ethics and Social Impacts of AI参考文献 71被引用数 8

ひとこと要約

この論文は、機械学習の公平性概念の現実世界への適用可能性を、倫理的原則および実務的制約との整合性から分析することで検討する。公平性定義の規範的整合性、実現可能性、影響に基づく評価フレームワークを提案し、多くの広く使われている公平性概念が複雑な現実世界の状況においては根拠が乏しいと結論づける。

ABSTRACT

International audience

研究の動機と目的

• 一般的に使われている機械学習の公平性概念が、現実世界のシナリオにおいて実際に適用可能かどうかを評価すること。
• 理論的な公平性定義とその倫理的・運用的実現可能性との間のギャップを特定すること。
• 規範的整合性、技術的実現可能性、社会的影響に基づく公平性概念の評価フレームワークを構築すること。
• あらゆる公平性定義が異なる文脈において同等に妥当であるか、あるいは相互に移行可能であるという仮定に疑問を呈すること。

提案手法

• 著者らは、規範的、技術的、文脈的次元の3つにわたる多様な評価フレームワークを導入し、公平性概念を評価する。
• 倫理的原則と現実世界の制約の観点から、既存の公平性定義（例：人口統制、等しいオッズ）を分析する。
• フレームワークには、論理的整合性、実装可能性、公平性のトレードオフといった定性的・定量的基準を組み込む。
• この手法は、多様な応用分野における公平性定義の事例研究と比較分析を含む。
• コアな構成要素には、公平性概念の分類体系と、特定の文脈における適切性を評価する意思決定マトリクスが含まれる。

実験結果

リサーチクエスチョン

• RQ1 どの公平性概念が倫理的原則と現実世界の制約に最も整合しているか？
• RQ2 一般的に使われる公平性定義は、実際の展開シナリオにおいてどれほど検証に耐えうるか？
• RQ3 規範的整合性や技術的実現可能性といった複数の次元から評価した場合、公平性概念はどのように機能するか？
• RQ4 実務において公平性定義の選定をガイドする統一されたフレームワークを構築できるか？

主な発見

• 多くの広く使われている公平性概念は、規範的整合性に欠け、現実世界の応用における根本的な倫理的懸念を扱えていない。
• 人口統制と等しいオッズは、特にハイリスク分野において、互いに矛盾し、モデルの有用性とも衝突する傾向がある。
• 理論的に妥当な公平性定義であっても、データ制限や測定の難しさにより、実装が困難であることがある。
• 本研究では、公平性理論と実際の展開との間で深刻なギャップが、犯罪司法や医療といった分野で顕著に認められた。