[論文レビュー] Aequitas: A Bias and Fairness Audit Toolkit

Pedro Saleiro, Benedict Kuester+6 more|arXiv (Cornell University)|Nov 14, 2018

Ethics and Social Impacts of AI参考文献 27被引用数 64

ひとこと要約

Aequitasは2018年に公開されたオープンソースのツールキットで、人口サブグループ全体にわたる複数のバイアスと公平性指標の監査を可能にします。Pythonライブラリ、CLI、Webアプリとして統合され、政策関連の意思決定を支援します。

ABSTRACT

Recent work has raised concerns on the risk of unintended bias in AI systems being used nowadays that can affect individuals unfairly based on race, gender or religion, among other possible characteristics. While a lot of bias metrics and fairness definitions have been proposed in recent years, there is no consensus on which metric/definition should be used and there are very few available resources to operationalize them. Therefore, despite recent awareness, auditing for bias and fairness when developing and deploying AI systems is not yet a standard practice. We present Aequitas, an open source bias and fairness audit toolkit that is an intuitive and easy to use addition to the machine learning workflow, enabling users to seamlessly test models for several bias and fairness metrics in relation to multiple population sub-groups. Aequitas facilitates informed and equitable decisions around developing and deploying algorithmic decision making systems for both data scientists, machine learning researchers and policymakers.

研究の動機と目的

• 公共政策に影響を与えるAIシステムにおける実践的なバイアスと公平性監査の必要性を動機づける。
• 保護されたグループ間で多様なバイアスと公平性指標を計算する運用ツールキットを提供する。
• 技術者と非技術者の双方にとって使いやすいインターフェースを提供して、データサイエンスと政策の橋渡しを行う。
• 本番運用におけるモデル選択、展開、定期的な再評価を情報として導く標準的な監査実践を促進する。

提案手法

• 分布、エラーベース、影響指向の公平性の広範なグループベース指標を定義する。
• 参照グループと乖離指標を用いて、複数の保護属性グループ間で比較を可能にする。
• 許容乖離範囲を制御する調整可能なパラメータtauを組み込み、80%ルールのような概念を一般化する。
• 事前デプロイ、ホールドアウト、デプロイ後の監査を、A/Bテスト設定を含めてサポートする。
• 政策文脈と介入コストに基づく指標選択を導く使いやすいフェアネスツリーを提供する。
• 政策立案者向けにPythonライブラリ、CLI、そして特注のWebアプリを通じてアウトプットを提供する。

実験結果

リサーチクエスチョン

• RQ1 公的政策のMLアプリケーションで、複数のバイアスと公平性指標を複数の人口グループで運用化し、比較するにはどうすればよいか。
• RQ2 介入文脈（支援的 vs 懲罰的）ごとに最も適切な乖離指標（および参照グループの選択）は何か。
• RQ3 実践的なツールキットはデータサイエンティストと政策立案者が日常的なバイアス監査を現実の展開に取り入れるのを支援できるか。
• RQ4 犯罪司法、健康、公共安全など、異なる政策分野はMLリスクスコアを適用する際にどのような公平性課題を示すか。

主な発見

• Aequitasは、モデルの開発および展開の過程で複数の人口サブグループにわたるバイアスと公平性指標の監査を可能にする。
• ツールキットは、分布ベース、エラーベース、影響ベースの公平性指標を、参照グループに対するペアワイズのグループ乖離比較とともに実装する。
• 調整可能なtauパラメータは柔軟な公平性制約を提供し、80%ルールのような概念を一般化する。
• 犯罪司法、公共保健、警察業務における事例研究は、検出可能な偏りと、異なるモデルとベースラインの比較影響を示している。
• 監査により、専門家ベースラインとMLモデルの間で実務上の差異が明らかになり、いくつかのケースではMLモデルが専門家の推定に比べて特定の偏りを減少させることがあることが示された。
• フェアネスツリーは、介入目標に沿った関連する公平性指標の選択を非技術的な政策立案者にも支援する。