[論文レビュー] Joint Optimization of AI Fairness and Utility: A Human-Centered Approach

Yunfeng Zhang, Rachel Bellamy+1 more|arXiv (Cornell University)|Feb 5, 2020

Ethics and Social Impacts of AI参考文献 16被引用数 32

ひとこと要約

本論文は、政策立案者の好みを解析的階層的プロセス（AHP）を用いて抽出することで、AIの公平性と有用性を共同で最適化する人間中心のフレームワークを提案する。その後、ベイズ最適化を用いて公平性指標（統計的同一性差、加重平均オッズ差）と有用性をバランスさせるモデルのしきい値を特定する。主な貢献は、ステークホルダーが透明にトレードオフを定義できる、原則的でインタラクティブな手法であり、実世界の公平性の優先順位を反映しつつ高い有用性を維持するモデルを実現する点にある。

ABSTRACT

Today, AI is increasingly being used in many high-stakes decision-making applications in which fairness is an important concern. Already, there are many examples of AI being biased and making questionable and unfair decisions. The AI research community has proposed many methods to measure and mitigate unwanted biases, but few of them involve inputs from human policy makers. We argue that because different fairness criteria sometimes cannot be simultaneously satisfied, and because achieving fairness often requires sacrificing other objectives such as model accuracy, it is key to acquire and adhere to human policy makers' preferences on how to make the tradeoff among these objectives. In this paper, we propose a framework and some exemplar methods for eliciting such preferences and for optimizing an AI model according to these preferences.

研究の動機と目的

• 公平性と有用性のトレードオフについて人間の政策立案者の入力を組み込まない既存のAI公平性手法のギャップを埋める。
• ステークホルダーが公平性基準とモデルパフォーマンスについての好みを体系的に特定するためのアプローチを開発する。
• これらの好みに基づいてAIモデルを最適化し、公平性と有用性がステークホルダーの優先順位に従ってバランスされるようにする。
• 裁判官、被告、市民など多様なステークホルダーが公平なAI意思決定を形作るのを支援する、透明でインタラクティブなシステムを構築する。

提案手法

• 公平性指標（SPD, WAOD）と有用性の間での政策立案者の相対的好みを特定するために、解析的階層的プロセス（AHP）を用いる。
• AHPの対比較結果を正規化された重みに変換し、自動チェックにより一貫性を保証する。
• 得られた重みを用いて公平性と有用性を1つの目的関数に統合し、有用性を最大化し、公平性指標を最小化する。
• 木のパラメトリック推定器（TPE）を用いたベイズ最適化を適用し、優位・非優位グループの分類しきい値を最適化する。
• 分野固有のスケール（例：有用性は100、SPDおよびWAODは0.1）を用いて指標をスケーリングし、単位の正規化と最適化の安定性を向上させる。
• 米国EEOC指針に準拠するため、差別の的影響比が[0.8, 1.25]の範囲外の解は拒否するという法的制約を課す。

実験結果

リサーチクエスチョン

• RQ1 高リスクなAI応用において、政策立案者の公平性対有用性のトレードオフに関する好みを体系的にどのように特定できるか。
• RQ2 異なる好みの重み付けが、得られるモデルの公平性および有用性指標に与える影響は何か。
• RQ3 ユーザー定義の制約のもとで、複数の公平性基準（SPDおよびWAOD）とモデル有用性を効果的にバランスさせる共同最適化フレームワークは実現可能か。
• RQ4 極端なケース（例：有用性の最大化、公平性のずれの最小化）を含む多様な好みプロファイルにおいて、このフレームワークはどのように性能を発揮するか。
• RQ5 矛盾する優先順位を持つ複数のステークホルダーの好みを統合するための拡張は可能か。

主な発見

• 有用性を優先する好みの設定では、最大有用性（130）のモデルが特定され、95.0%の有用性と-0.06のSPDを達成した。
• 絶対的SPDを最小化する設定では、SPD = 0.00、WAOD = 0.14というほぼ完全な公平性が達成され、バイアス低減の有効性が示された。
• バランスの取れた好み設定では、95.1%の有用性、SPD = -0.01、WAOD = 0.14を達成し、公平性と有用性の良好なトレードオフが実現された。
• ベイズ最適化プロセスは、すべての好み設定において一貫した指標結果（表1で確認）を示し、最適なしきい値への収束が信頼できることが確認された。
• このフレームワークは、矛盾する公平性基準を効果的に調停し、多様なステークホルダーの視点からも透明で原則的かつ整合性のある意思決定を可能にした。