[論文レビュー] Fairlearn: Assessing and Improving Fairness of AI Systems

Hilde Weerts, Miroslav Dudı́k+4 more|arXiv (Cornell University)|Mar 29, 2023

Ethics and Social Impacts of AI被引用数 49

ひとこと要約

Fairlearn は、AI の公平性を評価し、前処理・処理中・後処理の手法を通じて公平性の問題を緩和するためのオープンソースの Python ライブラリと関連リソースです。

ABSTRACT

Fairlearn is an open source project to help practitioners assess and improve fairness of artificial intelligence (AI) systems. The associated Python library, also named fairlearn, supports evaluation of a model's output across affected populations and includes several algorithms for mitigating fairness issues. Grounded in the understanding that fairness is a sociotechnical challenge, the project integrates learning resources that aid practitioners in considering a system's broader societal context.

研究の動機と目的

• 影響を受ける集団全体にわたるAIシステムの公平性関連の有害性を評価する実用的ツールを提供する。
• センシティブな特徴で定義されるグループ間でパフォーマンス指標の分解評価を可能にする。
• 標準的な ML モデルを包む多様な緩和戦略（前処理・学習時・後処理）を提供する。
• 社会的影響の文脈で公平性を理解するための社会技術的学習リソースを統合する。

提案手法

• MetricFrame クラスを導入し、指標関数と真のラベル・予測値・センシティブ特徴を組み合わせて分解評価を行う。
• MetricFrame から導出される demographic_parity_difference および equalized_odds_difference のような公平性指標を提供する。
• モデル性能と公平性指標の可視化ツールを用いて複数モデルの比較をサポートする。
• 3つの緩和カテゴリ（前処理・学習時・後処理）を説明し、代表的なアルゴリズム（例：CorrelationRemover、ExponentiatedGradient、Adversarial モデル、ThresholdOptimizer）を示す。
• scikit-learn の慣例との API 互換性を確保し、標準的な公平/不公平アルゴリズムを柔軟なメタアルゴリズムとしてラップする。

実験結果

リサーチクエスチョン

• RQ1 実務者は分解評価を用いて、集団間の公平性関連の有害性をどのように定量化し比較できるか？
• RQ2 Fairlearn はAI予測におけるdemographic_parityとequalized_oddsを評価するためにどのようなツールと指標を提供するか？
• RQ3 性能を維持しつつ公平性を向上させるために、モデル開発のさまざまな段階（前処理・学習時・後処理）で適用可能な緩和戦略は何か？
• RQ4 Fairlearn は公平性評価における社会技術的文脈の学習と理解をどう促進できるか？
• RQ5 Fairlearn は既存の ML ライブラリとどのように統合され、実務家にとって実用的な利用を可能にしているか？

主な発見

• Fairlearn はグループ間の分解指標を実行し、それらを差異または比で比較する MetricFrame ツールを提供する。
• MetricFrame ワークフローから派生した demographic_parity_difference および equalized_odds_difference のような公平性指標を提供する。
• ライブラリは全体の性能と公平性指標を関連付けるプロットを用いたモデル比較をサポートする。
• CorrelationRemover（前処理）、ExponentiatedGradient および Adversarial メソッド（学習時）、ThresholdOptimizer（後処理）など、複数の緩和アプローチが説明されている。
• 学習リソースとデータセットがライブラリに付随し、実務家に対して公平性の社会技術的側面を教育する。