[論文レビュー] Removing biased data to improve fairness and accuracy

Sahil Verma, Michael D. Ernst+1 more|arXiv (Cornell University)|Feb 5, 2021

Ethics and Social Impacts of AI参考文献 92被引用数 10

ひとこと要約

本稿では、影響関数を用いて差別的予測の原因となっている訓練データポイントを同定し、それらを削除することで、機械学習における公平性と精度を向上させるブラックボックス前処理手法を提案する。6つの実世界のデータセットを用いた実験で、個々の差別をほぼゼロにまで低減させつつ、モデルの精度を向上させた。

ABSTRACT

Machine learning systems are often trained using data collected from historical decisions. If past decisions were biased, then automated systems that learn from historical data will also be biased. We propose a black-box approach to identify and remove biased training data. Machine learning models trained on such debiased data (a subset of the original training data) have low individual discrimination, often 0%. These models also have greater accuracy and lower statistical disparity than models trained on the full historical data. We evaluated our methodology in experiments using 6 real-world datasets. Our approach outperformed seven previous approaches in terms of individual discrimination and accuracy.

研究の動機と目的

• 歴史的データに反映された過去の差別的決定を学習データとして用いる機械学習モデルにおける偏りの広範な問題に対処すること。
• 特に雇用、融資、刑事司法などハイリスクな応用分野において、精度を損なうことなくモデル予測における個々の差別を低減すること。
• モデルのアーキテクチャや勾配へのアクセスを必要とせず、ブラックボックスモデルに適用可能な前処理技術を開発すること。
• 公平性指標（個々の差別、統計的差異）を向上させるとともに、テスト精度を向上させること。これは、公平性手法において一般的に見られるトレードオフと対照的である。

提案手法

• 差別的ペアの生成：感応属性のみが異なる類似した個人（差別的ペア）を特定し、それらがモデルによって異なる予測を受けることを特定する。
• 影響関数を用いて、各訓練データポイントが差別的ペアに対する不一致な予測に与える寄与度を測定する。
• 差別的予測に与える影響度に基づいて訓練データポイントをランク付けし、不正な結果の原因となっているものを優先順位付けする。
• 影響度が最も高い上位-k個のデータポイント（差別的要因として最も関与しているもの）を削除し、偏りのない訓練データセットを構築する。
• クリーニングされたデータセットでモデルを再訓練し、より公平で正確なモデルを生成する。
• モデルの学習関数と予測関数へのみアクセスを必要とするブラックボックスアプローチを採用し、特許情報のモデルにも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 差別的予測の原因となっている最も影響度の高い訓練データポイントを同定・削除することで、精度を損なわずに公平性を向上させられるか？
• RQ2 提案手法は、個々の差別、統計的差異、テスト精度という観点で、既存の公平性手法と比較してどのように異なるか？
• RQ3 データデバイアスによって、個々の差別をほぼゼロに抑えつつ、同時にモデル精度を向上させることは可能か？
• RQ4 アーキテクチャへのアクセスがなくても、影響関数はブラックボックスモデルにおいても偏りのある訓練インスタンスを効果的に同定できるか？
• RQ5 影響度の高い偏りのあるデータポイントを削除することで、既存の前処理・処理中・後処理手法と比較して、公平性と精度のトレードオフを改善できるか？

主な発見

• 提案手法は、ほとんどの実験で個々の差別を0%まで低減させ、7つの先行手法を著しく上回った。
• クリーニングされたデータセットで再訓練したモデルは、全8つの実験において、完全な歴史的データセットで学習したベースラインモデルよりも高いテスト精度を達成した。
• 本手法は、公平性と精度のトレードオフを回避し、個々の差別と統計的差異の両方の指標を同時に改善した。これは、多くの先行手法とは対照的である。
• 本手法は、クレジット、雇用、刑事司法など多様な実世界のデータセットで有効であることが示された。
• テストした8つの手法の中で、唯一、最適化目標にかかわらず、個々の差別、統計的差異、精度の3つの指標を一貫して向上させた。
• 影響関数は、モデルを再訓練せずに、不正な予測に最も関与している訓練データポイントを的確に同定でき、標的的な削除が可能であった。