[論文レビュー] A Framework for Fairness: A Systematic Review of Existing Fair AI Solutions

Brianna Richardson, Juan E. Gilbert|arXiv (Cornell University)|Dec 10, 2021

Ethics and Social Impacts of AI被引用数 30

ひとこと要約

この論文は、アルゴリズム的バイアスを系統的に検討し、公平性解決策のスペース（ツールキットとチェックリスト）を調査し、実務上の不足点を分析し、研究者と実務者をつなぐ推奨事項を提示します。

ABSTRACT

In a world of daily emerging scientific inquisition and discovery, the prolific launch of machine learning across industries comes to little surprise for those familiar with the potential of ML. Neither so should the congruent expansion of ethics-focused research that emerged as a response to issues of bias and unfairness that stemmed from those very same applications. Fairness research, which focuses on techniques to combat algorithmic bias, is now more supported than ever before. A large portion of fairness research has gone to producing tools that machine learning practitioners can use to audit for bias while designing their algorithms. Nonetheless, there is a lack of application of these fairness solutions in practice. This systematic review provides an in-depth summary of the algorithmic bias issues that have been defined and the fairness solution space that has been proposed. Moreover, this review provides an in-depth breakdown of the caveats to the solution space that have arisen since their release and a taxonomy of needs that have been proposed by machine learning practitioners, fairness researchers, and institutional stakeholders. These needs have been organized and addressed to the parties most influential to their implementation, which includes fairness researchers, organizations that produce ML algorithms, and the machine learning practitioners themselves. These findings can be used in the future to bridge the gap between practitioners and fairness experts and inform the creation of usable fair ML toolkits.

研究の動機と目的

• 機械学習パイプライン全体におけるアルゴリズム的バイアスの源を定義し、分類する（既存の、技術的な、新たに出現する）。
• ソフトウェアツールキットやチェックリストを含む既存の公正性解決スペースを調査する。
• 公正性ツールが実務でどのように使用されているかを評価し、留意点や設計上の欠陥を特定する。
• 公正性の研究を産業ニーズと実務者の実践に合わせるための推奨事項を提供する。

提案手法

• バイアスのタイプ（既存、技術的、新たに出現する）に関する文献統合と分類体系の構築。
• 産業界と学界の主要な公正性ツールキットとチェックリストを網羅し説明する。
• 公正性ソリューションの実用性、使いやすさ、設計上のギャップを分析する。
• 指標の対立、倫理洗浄、社会技術的考慮などの留意点を論じる。
• 公正性研究者、組織、機械学習実務者に向けた実行可能な推奨事項を提案する。

実験結果

リサーチクエスチョン

• RQ1 フェアネスの懸念を生み出すアルゴリズム的バイアスの主要な入り口と形態は何か？
• RQ2 どのような公正性ツールキットとチェックリストが存在し、それらはどの機能を提供するか、または欠けているか？
• RQ3 現在の公正性ソリューションは実務でどのように機能しているか、留意点は何か？
• RQ4 公正性研究と産業実務のギャップを埋める推奨事項は何か？

主な発見

• バイアスの分類法を特定する：既存の、技術的な、出現中（デプロイメント）のバイアス。
• ソフトウェアツールキットとライフサイクルのチェックリストが優位を占める多様な解決スペースを記録。
• 実世界の応用において公正性研究者とML実務者の間のギャップを指摘。
• 矛盾する公正性指標、ロバスト性の問題、倫理と技術のバランスといった課題を指摘。
• 採用を改善するために人間中心設計とドメイン特化で使いやすい公正AIツールキットを推奨する。