[論文レビュー] FairTest: Discovering Unwarranted Associations in Data-Driven Applications

Florian Tramèr, Vaggelis Atlidakis+6 more|arXiv (Cornell University)|Oct 8, 2015

Ethics and Social Impacts of AI参考文献 47被引用数 23

ひとこと要約

FairTestは、被保護属性（例：人種、性別）とアルゴリズム的アウトプットの間に統計的に有意で説明不能な関連性が存在するかどうかを特定することにより、データ駆動型アプリケーションにおける不当な、差別的または攻撃的な取り扱いを検出するための原則的で体系的な手法、Unwarranted Associations (UA) フレームワークを導入した。このフレームワークは、ユーザーのサブグループにわたる差別の影響をスケーラブルかつ統計的に厳密に検出でき、交絡要因を除外するデバッグ機能も備えており、医療、価格設定、画像タギングシステムにおけるバイアスの実世界での検出によって検証された。

ABSTRACT

In a world where traditional notions of privacy are increasingly challenged by the myriad companies that collect and analyze our data, it is important that decision-making entities are held accountable for unfair treatments arising from irresponsible data usage. Unfortunately, a lack of appropriate methodologies and tools means that even identifying unfair or discriminatory effects can be a challenge in practice. We introduce the unwarranted associations (UA) framework, a principled methodology for the discovery of unfair, discriminatory, or offensive user treatment in data-driven applications. The UA framework unifies and rationalizes a number of prior attempts at formalizing algorithmic fairness. It uniquely combines multiple investigative primitives and fairness metrics with broad applicability, granular exploration of unfair treatment in user subgroups, and incorporation of natural notions of utility that may account for observed disparities. We instantiate the UA framework in FairTest, the first comprehensive tool that helps developers check data-driven applications for unfair user treatment. It enables scalable and statistically rigorous investigation of associations between application outcomes (such as prices or premiums) and sensitive user attributes (such as race or gender). Furthermore, FairTest provides debugging capabilities that let programmers rule out potential confounders for observed unfair effects. We report on use of FairTest to investigate and in some cases address disparate impact, offensive labeling, and uneven rates of algorithmic error in four data-driven applications. As examples, our results reveal subtle biases against older populations in the distribution of error in a predictive health application and offensive racial labeling in an image tagger.

研究の動機と目的

• データ駆動型アプリケーションにおける意図しないアルゴリズム的バイアスに起因する、不当または差別的な取り扱いの増加する課題に対処すること。
• 適用可能性、粒度、有用性を考慮に入れた原則的フレームワークを導入することで、従来の公平性定義を統合的かつ合理的に整理すること。
• 開発者が実世界のシステムにおける不当な関連性を検出・デバッグ・監査できる、実用的でスケーラブルなツールを開発すること。
• 規制的・倫理的要請に応えるために、アルゴリズムの責任性を確保するための体系的で公平性テストの手法を提供すること。
• グローバルな公平性指標や従来のアプローチでは見過ごされがちな、微細でサブグループ特有のバイアスを明らかにすること。

提案手法

• Unwarranted Associations (UA) フレームワークは、被保護属性とアルゴリズム的アウトプットの間に、説明可能な要因のない強力で統計的に有意な依存関係が存在する場合、それを「関連性バグ」と定義する。
• このフレームワークは、p値や正規化相互情報量（NMI）などの複数の公平性指標を統合し、統計的有意性と関連性の強度を評価する。
• FairTestは三段階の調査モデルを採用する：(1) 関連性の発見、(2) 疑わしいバイアスの検証、(3) サブグループごとのアルゴリズム的エラーを分析するエラープロファイリング。
• 年齢、職業種別、教育水準など、文脈に応じたフィルタリングを可能にすることで、特定のユーザー層における隠れたバイアスを特定する粒度の高いサブグループ分析を支援する。
• 正当な説明要因を除外するための交絡要因分析を組み込み、診断の正確性を向上させる。
• FairTestは統計的仮説検定を用いて関連性を評価し、多様なデータタイプとアプリケーションにわたって、厳密で再現可能な結果を保証する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型アプリケーションにおいて、アルゴリズム的アウトプットと被保護属性の間の不当な関連性を体系的かつ効果的に検出する方法は何か？
• RQ2 スケーラブルで統計的に厳密かつ細粒度の高い方法論的フレームワークは、ユーザーのサブグループにわたる差別の影響をどのように検出可能にするか？
• RQ3 正当な有用性要因や交絡要因によって説明可能な関連性と、不当な関連性をどのように区別できるか？
• RQ4 FairTestのようなツールは、実世界のデータ駆動型システムにおける公平性監査とデバッグをどのように改善できるか？
• RQ5 UAフレームワークを用いることで、標準ベンチマークデータセットでこれまで未発見であった、どのような新しいバイアスが明らかにできるか？

主な発見

• FairTestは、Adult Incomeデータセットにおいて、42歳未塔で週55時間未満勤務の連邦政府職員のサブグループで、人種に著しい差別の影響を検出。Blackの91%が年収5万ドル未満（p値 = 3.24e-3、NMI = 0.1310）。
• 同じデータセットにおいて、年齢47歳以上で教育年数9〜11年のグループで、性別バイアスが顕著に現れた。女性の88%が低所得であったのに対し、男性は56%（p値 = 2.23e-35、NMI = 0.1442）。
• FairTestは、予測型医療アプリケーションにおいて、年配層に影響を及ぼす微細だが統計的に有意な誤差率の差を、以前は文書化されていなかった形で特定した。
• 画像タギングシステムでは、攻撃的な人種的レーティングが特定され、このようなバイアスが孤立した出来事ではなく、データ駆動型モデルにおける体系的な問題であることを確認した。
• スターリングズのオンライン価格設定において、低所得ユーザーに対する予期しない差別的傾向が、FairTestによって確認された（人種のp値 = 1.39e-53、NMI = 0.0139）。
• FairTestが文脈を特定する能力により、一部の最も強いバイアスが小さな特定のサブグループに集中していることが明らかになった。これは、グローバル指標よりも細粒度の分析の重要性を強調している。