[論文レビュー] AI Fairness 360: An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias

Rachel Bellamy, Kuntal Dey+16 more|arXiv (Cornell University)|Oct 3, 2018

Ethics and Social Impacts of AI参考文献 18被引用数 265

ひとこと要約

AI Fairness 360 (AIF360) を紹介する、偏り検出指標・説明・低減アルゴリズムを提供するオープンソースの Python ツールキットと、産業用の使いやすさとベンチマーク機能を備えた対話型ウェブ UI を含む。

ABSTRACT

Fairness is an increasingly important concern as machine learning models are used to support decision making in high-stakes applications such as mortgage lending, hiring, and prison sentencing. This paper introduces a new open source Python toolkit for algorithmic fairness, AI Fairness 360 (AIF360), released under an Apache v2.0 license {https://github.com/ibm/aif360). The main objectives of this toolkit are to help facilitate the transition of fairness research algorithms to use in an industrial setting and to provide a common framework for fairness researchers to share and evaluate algorithms. The package includes a comprehensive set of fairness metrics for datasets and models, explanations for these metrics, and algorithms to mitigate bias in datasets and models. It also includes an interactive Web experience (https://aif360.mybluemix.net) that provides a gentle introduction to the concepts and capabilities for line-of-business users, as well as extensive documentation, usage guidance, and industry-specific tutorials to enable data scientists and practitioners to incorporate the most appropriate tool for their problem into their work products. The architecture of the package has been engineered to conform to a standard paradigm used in data science, thereby further improving usability for practitioners. Such architectural design and abstractions enable researchers and developers to extend the toolkit with their new algorithms and improvements, and to use it for performance benchmarking. A built-in testing infrastructure maintains code quality.

研究の動機と目的

• 機械学習における公正性指標と緩和技術の理解を促進する。
• 研究者と産業界が公正性アルゴリズムを共有・ベンチマークするための、オープンで拡張可能なプラットフォームを提供する。
• 使いやすいツールとドキュメントを通じて、公平性研究を産業実践へ移行させることを容易にする。

提案手法

• データセット表現、指標、説明器、バイアス緩和アルゴリズムを含む拡張可能なアーキテクチャを定義する。
• 71以上の偏り検出指標、9つの偏り緩和手法、そして指標説明フレームワークを取り入れる。
• 複数の段階でバイアスを評価する標準パイプライン（データセット -> 公正データセット -> モデル -> 予測）を提供する。
• 実務者を支援するウェブベースの対話型体験と充実したドキュメントを開発する。
• コード品質を維持するための厳密なテストと継続的インテグレーションの設定を実装する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットとモデルに跨るアルゴリズム的バイアスの検出・理解・緩和を、統一されたオープンソースツールキットはどのように支援できるか。
• RQ2 さまざまな公正性の定義とデプロイメント状況に対して、どの指標と緩和戦略が最も効果的か。
• RQ3 保護属性や特徴におけるバイアスの説明と局所化は、ユーザーが適切な介入を選択するのにどう役立つか。

主な発見

• AIF360 は、バイアス指標、緩和アルゴリズム、説明を1つのオープンソースパッケージに統合し、ベンチマークと採用を促進する。
• 前処理および内部処理アプローチ（例：Reweighing、Optimized Pre-processing、Adversarial Debiasing）は、データセットごとに精度への影響が異なるものの、公平性指標を一般的に改善する。
• 後処理手法（例：Equalized Odds、Calibrated Equalized Odds、Reject Option）は、モデルの再学習が不可能な場合の代替案を提供し、精度と公平性のトレードオフを伴う。
• 対話型ウェブ体験と充実したチュートリアルは、ビジネスユーザー、開発者、研究者がツールキットを実世界の問題に適用するのを支援する。