[論文レビュー] 50 Years of Test (Un)fairness: Lessons for Machine Learning

Ben Hutchinson, Margaret Mitchell|arXiv (Cornell University)|Nov 25, 2018

Ethics and Social Impacts of AI参考文献 65被引用数 126

ひとこと要約

本論文は教育と雇用試験における公正性研究の五十年を総括し、従来の公正性基準を現代のML概念に結びつけ、歴史的洞察を活用してMLの公正性の定義と実践を導くべきだと主張します。

ABSTRACT

Quantitative definitions of what is unfair and what is fair have been introduced in multiple disciplines for well over 50 years, including in education, hiring, and machine learning. We trace how the notion of fairness has been defined within the testing communities of education and hiring over the past half century, exploring the cultural and social context in which different fairness definitions have emerged. In some cases, earlier definitions of fairness are similar or identical to definitions of fairness in current machine learning research, and foreshadow current formal work. In other cases, insights into what fairness means and how to measure it have largely gone overlooked. We compare past and current notions of fairness along several dimensions, including the fairness criteria, the focus of the criteria (e.g., a test, a model, or its use), the relationship of fairness to individuals, groups, and subgroups, and the mathematical method for measuring fairness (e.g., classification, regression). This work points the way towards future research and measurement of (un)fairness that builds from our modern understanding of fairness while incorporating insights from the past.

研究の動機と目的

• 1960年代から1980年代にかけての試験における公正性の定義の進化と社会的文脈をたどる。
• 歴史的な公正性基準と現代のML公正性の概念との対応を特定する。
• 公正性基準がテスト自体に適用されるべき場合と利用時に適用されるべき場合の教訓を強調し、MLへの影響を示す。
• 公正性における因果と効用の考慮事項と、それらがML実践に与える関連性を論じる。

提案手法

• Cleary (1966) から Peterson & Novick (1976) 以降に至る教育・雇用試験の公正性定義の歴史的文献レビュー。
• 試験の公正性基準を現代のMLの独立性概念（充足、分離、独立）および因果/効用の解釈に対応付ける。
• 回帰・相関・DIF分析が現行のML公正性手法とどのように関連するかの検討。
• テストとMLの文脈の両方におけるモデル中心の公正性観点と使用法中心の公正性観点の比較。

実験結果

リサーチクエスチョン

• RQ1 教育および雇用試験で歴史的に提案された公正性基準はどのようなもので、現代のML公正性定義とどう関連するか。
• RQ2 テスト中心の公正性と利用中心の公正性の概念はどのように異なり、それらはML実践にどんな教訓をもたらすか。
• RQ3 歴史的基準がMLの等化オッズ、予測の整合性、人口統計学的平等性といった概念にどのように対応するか。
• RQ4 回帰と相関を公正性基準としてMLモデルに用いることの影響は何か。

主な発見

• 多くの歴史的な公正性基準は、充足、等化オッズ、予測の整合性、人口統計学的平等性など、現代のML定義と対応する。
• 個別の公正性と集団の公正性の間には根本的な緊張があり、MLの実現不可能性の結果と並行する。
• 公正性基準はしばしば、公正性がテスト自体の性質かそれの使用に関する性質かによって左右される。この区別は、MLにおけるモデル中心か使用中心かの議論にも反映されている。
• Differential Item Functioning (DIF) および試験使用の体制変更は、後のMLのバイアス緩和アプローチに影響を与えた。
• 因果的・効用ベースの視点は初期の検討事項であり、MLにおける公正性のコスト分析の現代的な先行となった。