[論文レビュー] Certifying and removing disparate impact

Michael B. Feldman, Sorelle A. Friedler+3 more|arXiv (Cornell University)|Dec 11, 2014

Ethics and Social Impacts of AI参考文献 6被引用数 19

ひとこと要約

本稿では、モデルの内部論理にアクセスせずに、バランス誤差率（BER）を用いて差別の的影響を検出・緩和するデータ中心のアプローチを提案する。保護された属性が統計的に予測不能になるようにデータを変換するフレームワークを導入し、予測的有用性を維持しながら、先行手法と比較して優れた公平性と精度のトレードオフを達成する。

ABSTRACT

What does it mean for an algorithm to be biased? In U.S. law, unintentional bias is encoded via disparate impact, which occurs when a selection process has widely different outcomes for different groups, even as it appears to be neutral. This legal determination hinges on a definition of a protected class (ethnicity, gender, religious practice) and an explicit description of the process. When the process is implemented using computers, determining disparate impact (and hence bias) is harder. It might not be possible to disclose the process. In addition, even if the process is open, it might be hard to elucidate in a legal setting how the algorithm makes its decisions. Instead of requiring access to the algorithm, we propose making inferences based on the data the algorithm uses. We make four contributions to this problem. First, we link the legal notion of disparate impact to a measure of classification accuracy that while known, has received relatively little attention. Second, we propose a test for disparate impact based on analyzing the information leakage of the protected class from the other data attributes. Third, we describe methods by which data might be made unbiased. Finally, we present empirical evidence supporting the effectiveness of our test for disparate impact and our approach for both masking bias and preserving relevant information in the data. Interestingly, our approach resembles some actual selection practices that have recently received legal scrutiny.

研究の動機と目的

• EEOCの80%ルールを公平性基準として用いて、機械学習における差別の的影響の形式的認証を目的とする。
• モデルやアルゴリズムへのアクセスを一切不要とし、データのみに依存して差別の的影響を検出する手法を開発することを目的とする。
• 非保護属性の予測的有用性を維持しながら、差別の的影響を除去するデータ変換技術を提案することを目的とする。
• 提案手法が既存のアプローチと比較して優れた公平性と精度のトレードオフを達成することを実証的に検証することを目的とする。
• 実世界のデータセットにおけるバイアスの監査と是正を実用的かつプライバシーを保護するフレームワークを提供することを目的とする。

提案手法

• 本手法は、保護された属性が他の特徴から予測可能かどうかを検出するために、バランス誤差率（BER）を代理指標として用いる。
• 回帰に基づく手順によりBERを最小化することで、訓練された分類モデルが差別の的影響を示さないことを認証する。
• 非保護属性を再重み付けまたは再構成する組み合わせ的・幾何的修復プロセスにより、保護された属性の予測可能性を低減するデータ変換を実施する。
• 修復プロセスは、元のデータ分布に近づけるように設計されており、非保護特徴の信号を維持する。
• 分類器に依存しないアプローチであるため、修復後のデータに対して任意の下流分類器を適用可能である。
• 本手法は、ドイツの信用、AdultインCOMEの複数のデータセットおよびSVM、ロジスティック回帰、ナイーブベイズの複数の分類器を用いて評価され、公平性はZemelの公平性スコア、精度は標準分類率で測定された。

実験結果

リサーチクエスチョン

• RQ1 モデルの内部論理にアクセスせずに、データのみに依存して差別の的影響を検出・認証できるか？
• RQ2 バランス誤差率（BER）をどのようにして差別の的影響の不在を定量化・認証する代理指標として用いることができるか？
• RQ3 どのようなデータ変換技術が、保護された属性をマスキングしながらも、下流タスクの予測的有用性を効果的に維持できるか？
• RQ4 提案手法の公平性と精度のトレードオフは、既存の公平学習アプローチと比較してどのように異なるか？
• RQ5 複数の保護された属性にわたる修復プロセスが、有用性損失をどのように累積させるか？

主な発見

• 提案された認証手法は、修復済みデータに対してテストされた3つの分類器すべてで差別の的影響が認められないことから、差別の的影響のないデータセットを効果的に同定・認証した。
• 幾何的および組み合わせ的修復プロセスは、複数のデータセットおよび分類器において、競合手法と比較して一貫して優れた公平性と精度のトレードオフを達成した。
• 任意の所望の公平性水準に対して、修復済みデータセットは、正則化ロジスティック回帰、学習された公平表現、公平ナイーブベイズなどの既存手法よりも高い分類精度を実現した。
• 修復による有用性損失は、個々の属性損失の合計に近く、複合効果がないことを示しており、複数の保護された属性にわたるスケーラビリティを示唆している。
• 分類器の選択を修復後に行える柔軟性を示し、AdultインCOMEデータセットにおいて、高水準の公平性を達成する際、ナイーブベイズベースの修復がロジスティック回帰よりも高い精度を達成した。
• 元のデータは高い差別性（低い公平性）を示していたが、修復後は公平性と精度の両方が顕著に向上した。特に、クラス事前確率をバランスさせるように分類器を再重み付けした場合、その向上が顕著であった。