[論文レビュー] The Measure and Mismeasure of Fairness

Sam Corbett‐Davies, Gaebler, Johann D.+3 more|arXiv (Cornell University)|Jul 31, 2018

Ethics and Social Impacts of AI参考文献 50被引用数 472

ひとこと要約

この論文は人気のある正式な公正性定義を2つのファミリーに分類し、これらがしばしばパレート支配的な方針を生み出すことを示し、結果主義的で政策に適合した公平なアルゴリズム設計アプローチを提案する。

ABSTRACT

The field of fair machine learning aims to ensure that decisions guided by algorithms are equitable. Over the last decade, several formal, mathematical definitions of fairness have gained prominence. Here we first assemble and categorize these definitions into two broad families: (1) those that constrain the effects of decisions on disparities; and (2) those that constrain the effects of legally protected characteristics, like race and gender, on decisions. We then show, analytically and empirically, that both families of definitions typically result in strongly Pareto dominated decision policies. For example, in the case of college admissions, adhering to popular formal conceptions of fairness would simultaneously result in lower student-body diversity and a less academically prepared class, relative to what one could achieve by explicitly tailoring admissions policies to achieve desired outcomes. In this sense, requiring that these fairness definitions hold can, perversely, harm the very groups they were designed to protect. In contrast to axiomatic notions of fairness, we argue that the equitable design of algorithms requires grappling with their context-specific consequences, akin to the equitable design of policy. We conclude by listing several open challenges in fair machine learning and offering strategies to ensure algorithms are better aligned with policy goals.

研究の動機と目的

• 意思決定の格差を制約するか、保護属性の意思決定への影響を制約するかに基づいて、既存の正式な公正性定義を2つのファミリーに分類する。
• 分析的および経験的に、これらの公正性概念がしばしばさまざまな効用関数にわたって強くパレート支配的な方針につながることを示す。
• 実世界の設定で、従来の公正性基準が保護を受けるべきグループ自体を害する可能性があることを illustrate する。
• 方針目標と文脈固有のトレードオフを前面に出すことで、公平なアルゴリズム設計の指針を示す。

提案手法

• 共変量 X、保護属性 A、二値決定 D、予後 Y で特徴づけられ、予算制約 b の下での個人を含む形式的設定を提案する。
• 人口統計的平等、偽陽性率の等化、そして因果/反事実的公正性の変種を含む複数の公正性概念を定義・検討する。
• 保護属性から決定への正当な経路と不正な経路を分離する因果DAGを用いた経路特異的公正性を提示する。
• 指定された因果経路に沿って、保護属性を変更した場合に決定がどのように影響されるかを分析するための反事実および経路特異的構成を提供する。
• アルゴリズム的決定を政策手段として扱い、その広範な影響を検討する結果主義的枠組みを主張する。

実験結果

リサーチクエスチョン

• RQ1 公正MLで用いられる主な正式な公正性定義のファミリーは何か、そして格差の取り扱いと保護属性の扱いの点でどう異なるか？
• RQ2 一般に適用されている公正性基準は、自然な効用フレームにわたってパレート支配的な意思決定ポリシーを生むか？
• RQ3 因果/経路特異的な意味で公正性をどのように概念化できるか、そして政策に適合したアルゴリズム設計には現実的にどんな影響があるか？
• RQ4 認識のない公正さではなく政策目標に合わせた公正なアルゴリズム設計のための指針は何か？
• RQ5 外部性のある設定（例: 大学入試 vs 医学的スクリーニング）のあるなしに関わらず、公正な意思決定を実装するための具体的な提言は何か？

主な発見

• 人気のある公正性定義は、さまざまな効用関数にわたって強くパレート支配的な方針を生む可能性がある。
• 公理的な公正性基準を課すことは、個別に適合させた結果指向の方針に比べて、大学入試での多様性と学力準備を低下させうる。
• 保護属性を盲信しても必ずしも校正を達成せず、意味のある格差を隠すことがある。
• 経路特異的および反事実的公正性は、意思決定において正当な因果経路と不正な経路を分離することで、ニュアンスのある見方を提供する。
• 結果主義的で政策を意識したアルゴリズム設計アプローチは、現実の公平性の目標とトレードオフによりよく整合する。