[論文レビュー] Software Fairness: An Analysis and Survey

Ezekiel Soremekun, Mike Papadakis+2 more|arXiv (Cornell University)|May 18, 2022

Ethics and Social Impacts of AI被引用数 9

ひとこと要約

本論文は、機械学習ベースのソフトウェアシステムにおける公平性に関する164件の研究を包括的に分析し、公平性指標、タスクタイプ、分析手法、アクセスレベル（ブラックボックス/ホワイトボックス/グレーエックスボックス）に基づいてアプローチを分類している。特に、公平性の定義、交差的・逐次的公平性、非構造化データ（例：テキスト、画像）およびホワイトボックス内処理技術における深刻なギャップが明らかになった。政策に基づくおよび人間を含むフィードバックループによるバイアス緩和の分野は、未だ十分に検討されていない課題であることが示された。

ABSTRACT

In the last decade, researchers have studied fairness as a software property. In particular, how to engineer fair software systems? This includes specifying, designing, and validating fairness properties. However, the landscape of works addressing bias as a software engineering concern is unclear, i.e., techniques and studies that analyze the fairness properties of learning-based software. In this work, we provide a clear view of the state-of-the-art in software fairness analysis. To this end, we collect, categorize and conduct an in-depth analysis of 164 publications investigating the fairness of learning-based software systems. Specifically, we study the evaluated fairness measure, the studied tasks, the type of fairness analysis, the main idea of the proposed approaches, and the access level (e.g., black, white, or grey box). Our findings include the following: (1) Fairness concerns (such as fairness specification and requirements engineering) are under-studied; (2) Fairness measures such as conditional, sequential, and intersectional fairness are under-explored; (3) Unstructured datasets (e.g., audio, image, and text) are barely studied for fairness analysis; and (4) Software fairness analysis techniques hardly employ white-box, in-processing machine learning (ML) analysis methods. In summary, we observed several open challenges including the need to study intersectional/sequential bias, policy-based bias handling, and human-in-the-loop, socio-technical bias mitigation.

研究の動機と目的

• 機械学習ベースのシステムにおけるソフトウェア工学分野における公平性の現状を明確化すること。
• 公平性の定義、要件工学、バイアス緩和における未研究分野を特定すること。
• 既存の文献において公平性指標、タスク、分析手法の分布を分析すること。
• ブラックボックス、ホワイトボックス、グレーエックスボックスの異なるアクセスレベルが、公平性分析においてどれほど一般的で効果的であるかを評価すること。
• ソフトウェア公平性における交差的・逐次的、および社会的技術的バイアスの取り扱いに関する未解決の課題を浮き彫りにすること。

提案手法

• 機械学習ベースのソフトウェアシステムにおける公平性に関する164件の出版物の体系的収集と分類。
• 公平性指標（例：デモグラフィックパラティーション、等しい機会）、タスクタイプ（例：分類、NLP）、分析アプローチに基づく研究の分類。
• アクセスレベル別に分析手法を分類：ブラックボックス（入力-出力）、グレーエックスボックス（部分的なモデルアクセス）、ホワイトボックス（完全なモデルの検査）。
• 前処理、内処理、後処理の各手法を含む、提案された公平性技術の背後にある主なアイデアの詳細な分析。
• 収集された文献のテーマ的および定量的分析を通じて、トレンドとギャップの特定。
• 特に逐次的および交差的公平性、非構造化データ（音声、画像、テキスト）、および内処理機械学習技術といった未開拓分野に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア公平性研究で最も一般的に使用されている公平性指標は何か？また、どの指標が未だに十分に検討されていないか？
• RQ2 公平性分析において最も頻繁に研究されているソフトウェアタスク（例：NLP、コンピュータビジョン）は何か？逆に、どのタスクが代表されていないか？
• RQ3 機械学習ベースのシステムの公平性評価において、ホワイトボックス、グレーエックスボックス、ブラックボックス分析手法はどれほど一般的か？
• RQ4 既存のソフトウェア公平性文献において、公平性の定義と要件工学はどの程度取り上げられているか？
• RQ5 ソフトウェア公平性における交差的・逐次的、および政策に基づくバイアス緩和の主な未解決課題は何か？

主な発見

• 公平性の定義や要件工学といった公平性関連の問題は、文献において著しく研究が不足している。
• 現実世界の公平性応用において重要であるにもかかわらず、条件付き公平性、逐次的公平性、交差的公平性といった公平性指標は未だに十分に検討されていない。
• 機械学習システムに広く存在するにもかかわらず、音声、画像、テキストなどの非構造化データタイプは、公平性分析においてほとんど研究されていない。
• 公平性分析におけるホワイトボックス内処理機械学習手法はほとんど使用されておらず、モデルレベルの干渉戦略にギャップがあることが示された。
• 政策に基づくバイアス対策や人間を含むフィードバックループによる社会的技術的公平性緩和に関する研究は著しく不足している。
• 大多数の公平性分析はブラックボックスに留まっており、モデルの挙動やバイアス伝搬メカニズムの深い理解が制限されている。