[論文レビュー] Prediction-Based Decisions and Fairness: A Catalogue of Choices, Assumptions, and Definitions

Shira Mitchell, Eric Potash+3 more|arXiv (Cornell University)|Nov 19, 2018

Ethics and Social Impacts of AI参考文献 85被引用数 108

ひとこと要約

予測に基づく意思決定システムにおける公正性の選択、仮定、定義を網羅的に整理し、データ、モデル、社会的目標がどのように相互作用するかを明らかにする調査。

ABSTRACT

A recent flurry of research activity has attempted to quantitatively define "fairness" for decisions based on statistical and machine learning (ML) predictions. The rapid growth of this new field has led to wildly inconsistent terminology and notation, presenting a serious challenge for cataloguing and comparing definitions. This paper attempts to bring much-needed order. First, we explicate the various choices and assumptions made---often implicitly---to justify the use of prediction-based decisions. Next, we show how such choices and assumptions can raise concerns about fairness and we present a notationally consistent catalogue of fairness definitions from the ML literature. In doing so, we offer a concise reference for thinking through the choices, assumptions, and fairness considerations of prediction-based decision systems.

研究の動機と目的

• 予測に基づく意思決定システムを支える社会的・技術的選択を説明する。
• データ、モデル、評価を含む、公正性に影響する仮定と意思決定を体系化する。
• ML 文献から公正性の定義を記法的一貫性をもってカタログ化する。
• 公正性研究における数学的形式論とより広い社会的目標との間のギャップを強調する。

提案手法

• 公正性に影響を与える政策設計上の選択（全体的な目標、集団、意思決定空間）を体系的な分類法として提示する。
• データのバイアスを統計的バイアス（サンプリングと測定）と社会的バイアスに分解し、それらが公正性に与える影響を論じる。
• データ、モデルクラス、共変量など、公正性に影響を与える予測モデリングの選択と評価の仮定を要約する。
• 文献からの公正性定義を整理し、混同行列ベース、スコアベース、充足性タイプの基準を含むカタログを整理する。
• 公正性の因果フレームワークを論じ、定義間の緊張と不可能性を特定する。

実験結果

リサーチクエスチョン

• RQ1 予測に基づく意思決定システムで最も公正性の結果に影響を与える選択と仮定は何か？
• RQ2 データの統計的および社会的バイアスは、モデルの選択とどのように相互作用して、グループ間の公正性に影響を与えるか？
• RQ3 MLにおける主要な公正性定義は何であり、それらは意思決定の文脈と評価仮定とどのように関係しているか？
• RQ4 単一閾値の公正性とスコアベースの公正性概念は、現実の意思決定目標とどの程度整合しているか？

主な発見

• MLの公正性は、社会的目標、集団、意思決定空間をモデリングと評価の選択と慎重に整合させることを要求する。
• データバイアスは統計的バイアス（サンプリング/測定）と社会的バイアスから成り、それぞれ公正性に対する影響が異なる。
• 複数の、時には対立する公正性定義が存在する（例：誤差率の平衡、予測的同等性、キャリブレーション）であり、単一の定義が普遍的に適用可能ではない。
• 単一閾値の公正性は特定の仮定の下で効用最大化に結びつくが、スコアの質と選択された効用に依存する。
• 評価仮定（干渉なし、対称的害、バッチ意思決定）は、公正性と結果の認識を決定的に形作る。
• 因果および反実仮想分析は、純粋な統計的定義を超えた公正性の追加的視点を提供する。