[論文レビュー] Discovering Unwarranted Associations in Data-Driven Applications with the FairTest Testing Toolkit

Florian Tramèr, Vaggelis Atlidakis+6 more|arXiv (Cornell University)|Oct 8, 2015

Privacy-Preserving Technologies in Data参考文献 36被引用数 18

ひとこと要約

FairTest は、レースや性別などの保護対象となるユーザーのサブグループとアルゴリズムの出力（例：価格、ラベル）の間の統計的に有意で不適切な関連性を検出するテストキットである。これは、差別の的価格設定や攻撃的なラベリングといったバイアスを、既知の説明要因を補正しながら関連性の強さで順位付けすることで特定する。実世界のデータ駆動型アプリケーションへの応用では、微妙な年齢ベースの誤差や人種的ラベリングの問題を効果的に検出できた。

ABSTRACT

In today's data-driven world, programmers routinely incorporate user data into complex algorithms, heuristics, and application pipelines. While often beneficial, this practice can have unintended and detrimental consequences, such as the discriminatory effects identified in Staples' online pricing algorithm and the racially offensive labels recently found in Google's image tagger. We argue that such effects are bugs that should be tested for and debugged in a manner similar to functionality, performance, and security bugs. We describe FairTest, a testing toolkit that detects unwarranted associations between an algorithm's outputs (e.g., prices or labels) and user subpopulations, including protected groups (e.g., defined by race or gender). FairTest reports any statistically significant associations to programmers as potential bugs and ranks them by their strength while accounting for known explanatory factors. We designed FairTest for ease of use by programmers and integrated it into the evaluation framework of SciPy, a popular library for data analytics. We used FairTest experimentally to identify unfair disparate impact, offensive labeling, and disparate rates of algorithmic error in six applications and datasets. As examples, our results reveal subtle biases against older populations in the distribution of error in a real predictive health application, and offensive racial labeling in an image tagger.

研究の動機と目的

• アルゴリズムの出力と保護対象サブグループ（例：レース、性別）との間の隠れた関連性に起因する、意図しない差別的または攻撃的な結果の増加するリスクに対処すること。
• このような関連性を、機能的バグやパフォーマンス・セキュリティのバグと同様に「バグ」として扱い、体系的な検出とデバッグを要請すること。
• 既存のデータサイエンスワークフロー（例：SciPy 評価フレームワーク）に統合可能な実用的でプログラマーフレンドリーなテストキットを提供すること。
• 実世界のアプリケーションにおける、人種的・性別的グループ間での差別の影響、攻撃的なラベリング、不均等な誤差率を検出・報告すること。
• 関連性を評価する際、既知の説明変数を考慮することで、検出されたバイアスが正当な相関の反映である可能性を排除すること。

提案手法

• FairTest は、アルゴリズムの出力とユーザーのサブグループ（例：レース、性別）との間の有意な関連性を検出するために統計的仮説検定を用いる。
• p値補正と効果量推定を適用して、検出された関連性を強さの順に順位付けし、深刻なバイアスの優先順位を明確にする。
• 年齢や場所などの既知の説明要因を分析中に条件付けすることで、正当な相関から不適切な関連性を分離する。
• SciPy 評価フレームワークのプラグインとして実装されており、既存のデータ分析パイプラインへのシームレスな統合を可能にする。
• FairTest は、差別の的影響、ラベリングの攻撃性、不均等な誤差率といった複数の指標を評価し、さまざまな形の不平等を検出する。
• 結果は明確な優先順位で報告され、開発者が体系的に検出されたバイアスをデバッグ・是正できるようにする。

実験結果

リサーチクエスチョン

• RQ1 体系的なテストアプローチは、実世界のデータ駆動型アプリケーションにおいて、アルゴリズムの出力と保護対象サブグループとの間の不適切な関連性を検出可能か？
• RQ2 既知の説明変数を補正しながら、統計的強さで関連性を順位付けする方法は何か？
• RQ3 FairTest のようなテストキットは、年齢ベースの誤差差異や攻撃的なラベリングといった、以前に発見されていなかった微細なバイアスをどの程度特定できるか？
• RQ4 FairTest は、多様なデータアプリケーションにおいて差別の的影響やアルゴリズム的誤差率をどの程度効果的に検出できるか？
• RQ5 FairTest は、既存のデータサイエンスワークフローに統合可能で、既存の開発手法を破壊せずに運用可能か？

主な発見

• FairTest は、実際の予測医療アプリケーションの誤差分布において、高齢者に対する以前に発見されていなかった微細なバイアスを効果的に特定した。
• 画像タグ付けシステムにおいて、攻撃的な人種的ラベリングを検出し、自動コンテンツ分析における重要な公平性の問題を浮き彫りにした。
• オンライン価格設定アルゴリズムにおいて差別の的影響を検出し、顕在的に人種的要因を考慮しないシステムであっても、このようなバイアスが生じ得ることを示した。
• FairTest は、サブグループ間でアルゴリズム的誤差率の不均等さを検出し、モデル性能における体系的な格差を示した。
• FairTest を SciPy 評価フレームワークに統合することで、実世界のデータ分析ワークフローにおける実用的でスケーラブルな利用が可能になった。
• 統計的強さで関連性を順位付けし、既知の要因を補正することで、FairTest は開発者が最も深刻な公平性の問題を最初に優先してデバッグ・是正できるようにした。