[論文レビュー] Average Individual Fairness: Algorithms, Generalization and Experiments

Michael Kearns, Aaron Roth+1 more|arXiv (Cornell University)|May 25, 2019

Ethics and Social Impacts of AI参考文献 15被引用数 27

ひとこと要約

本稿では、保護群ではなく分類タスクの分布にわたって平均化することにより、分類誤差率が個々の人物に対してほぼ等しくなるように保証する、新しい公平性フレームワークである平均個別公平性（AIF）を導入する。この研究では、標準的な学習ヒューリスティクスと統合可能なオракル効率の良いアルゴリズム（AIF-Learn）を提案し、新たな人物および新たなタスクへの一般化を理論的に保証するとともに、合成データおよび実世界のデータを用いた実験的検証によってその有効性を裏付けている。

ABSTRACT

We propose a new family of fairness definitions for classification problems that combine some of the best properties of both statistical and individual notions of fairness. We posit not only a distribution over individuals, but also a distribution over (or collection of) classification tasks. We then ask that standard statistics (such as error or false positive/negative rates) be (approximately) equalized across individuals, where the rate is defined as an expectation over the classification tasks. Because we are no longer averaging over coarse groups (such as race or gender), this is a semantically meaningful individual-level constraint. Given a sample of individuals and classification problems, we design an oracle-efficient algorithm (i.e. one that is given access to any standard, fairness-free learning heuristic) for the fair empirical risk minimization task. We also show that given sufficiently many samples, the ERM solution generalizes in two directions: both to new individuals, and to new classification tasks, drawn from their corresponding distributions. Finally we implement our algorithm and empirically verify its effectiveness.

研究の動機と目的

• 保護群に平均化する統計的公平性の意味的弱さ（個別レベルの保護が限定的）を是正すること。
• 公平性メトリクスまたはデータ分布に対する強い実現可能性仮定を必要とする個別公平性の導入障壁を克服すること。
• 事前に定義された保護群や強い仮定に依存せずに、強い個別レベルの意味的公平性を提供する公平性定義を開発すること。
• 標準的な公平性非対応の学習ヒューリスティクスと統合可能な実用的でオラクル効率の良い学習アルゴリズムを設計すること。
• AIF解が新たな人物および新たな分類タスクの両方に対して一般化する理論的保証を確立すること。

提案手法

• 分類タスクの分布にわたって誤差率を平均化することで、保護群に依存せずに個別レベルの公平性を保証する公平性制約として平均個別公平性（AIF）を定義する。
• 学習者と公平性を強制する敵対者との2人ゲームとして、公平な経験的リスク最小化問題を定式化し、標準的な学習オラクルを活用するための還元を用いる。
• AIF-Learnを提案。これは、公平性オラクルを用いた反復的最適化により、公平性制約に対する学習者の最良反応（BEST）を計算するアルゴリズムである。
• 十分なサンプリングが行われる条件下で、AIF解が未観測の人物および未観測の分類タスクに一般化することを示す一般化フレームワークを導入する。
• 推定誤差を制御するため、Chernoff-Hoeffding不等式を用いて経験的公平性制約における推定誤差を制御し、サンプリングのゆらぎに対して頑健性を確保する。
• FPR（偽陽性率）公平性（FPAIF）への拡張を提示し、類似のアルゴリズムと一般化定理を提供する。

実験結果

リサーチクエスチョン

• RQ1 保護群や強い実現可能性仮定に依存せずに、強い個別レベルの意味的公平性を提供する公平性定義を設計できるか？
• RQ2 標準的な学習オラクルと互換性を持ちつつ、公平性制約を満たすのに効率的な学習アルゴリズムを設計できるか？
• RQ3 AIF解は、それぞれの分布から抽出された新たな人物および新たな分類タスクに一般化できるか？
• RQ4 AIFフレームワークは、合成データおよび実世界のデータにおいて、ベースラインと比較して公平性と精度のトレードオフを上回ることを実験的に検証できるか？
• RQ5 AIFフレームワークにおいて、公平性違反、サンプル複雑度、一般化誤差の理論的関係は何か？

主な発見

• AIFフレームワークは、分類タスクの分布にわたって誤差率を平均化することで、保護群に基づく公平性定義の落とし穴を避けて、個別レベルの公平性を成功裏に達成した。
• 合成データ上では、AIF-Learnアルゴリズムが約1,000イテレーション（50,000回のオラクル呼び出し）で収束し、実世界の設定でも実用的な収束を示した。
• 合成データ上では、AIF-Learnは誤差最適モデルとランダム分類を混合するベースラインを著しく上回り、より優れた公平性と精度のトレードオフを達成した。
• 理論的分析により、十分なサンプリングが行われる条件下で、AIF解が新たな人物および新たな分類タスクに高い確率で一般化することが証明された。
• 集中不等式（Chernoff-Hoeffding）を用いて一般化バウンドを導出し、公平性制約における推定誤差が高確率で制御可能であることを示した。
• FPR公平性（FPAIF）への拡張は自然に可能であり、類似のアルゴリズムと一般化保証を備えており、広範な適用可能性を示した。