[論文レビュー] Rethinking Algorithmic Fairness for Human-AI Collaboration

Haosen Ge, Hamsa Bastani+1 more|arXiv (Cornell University)|Oct 5, 2023

Ethics and Social Impacts of AI被引用数 2

ひとこと要約

本稿は、人間とAIの協働におけるアルゴリズム的レコメンデーションのための新しいフレームワーク「コンプライアンス耐性公平性」を導入し、あらゆる人間のコンプライアンスパターンに対して弱く改善された公平性を保証する。最適化に基づく手法を提案し、選択的コンプライアンスの状況下でも公平性とパフォーマンスを向上させるポリシーを導出する。バージニア州の判事の判決データを用いた実世界の評価で、こうしたポリシーは、孤立した状況での公平性に潜在するトレードオフを考慮しても、実際の公平性結果において従来の公平なアルゴリズムを上回ることを示している。

ABSTRACT

Existing approaches to algorithmic fairness aim to ensure equitable outcomes if human decision-makers comply perfectly with algorithmic decisions. However, perfect compliance with the algorithm is rarely a reality or even a desirable outcome in human-AI collaboration. Yet, recent studies have shown that selective compliance with fair algorithms can amplify discrimination relative to the prior human policy. As a consequence, ensuring equitable outcomes requires fundamentally different algorithmic design principles that ensure robustness to the decision-maker's (a priori unknown) compliance pattern. We define the notion of compliance-robustly fair algorithmic recommendations that are guaranteed to (weakly) improve fairness in decisions, regardless of the human's compliance pattern. We propose a simple optimization strategy to identify the best performance-improving compliance-robustly fair policy. However, we show that it may be infeasible to design algorithmic recommendations that are simultaneously fair in isolation, compliance-robustly fair, and more accurate than the human policy; thus, if our goal is to improve the equity and accuracy of human-AI collaboration, it may not be desirable to enforce traditional algorithmic fairness constraints. We illustrate the value of our approach on criminal sentencing data before and after the introduction of an algorithmic risk assessment tool in Virginia.

研究の動機と目的

• アルゴリズム公平性研究における重要なギャップに取り組むこと。特に、AIレコメンデーションに完全な人間のコンプライアンスを仮定しているが、これは高リスクの現実世界の状況ではほとんど成立しない。
• 人間の意思決定者（事前に未知の）コンプライアンス行動にかかわらず、最終意思決定における公平性が弱く改善されるアルゴリズム的レコメンデーションポリシーを同定すること。
• 予測不能で偏りを伴うコンプライアンスパターンに対しても耐性を持つポリシーを設計することで、人間とAIの協働における公平性とパフォーマンスの両立を図ること。
• 選択的コンプライアンスが生じる状況では、従来の公平性制約が逆効果となる可能性があり、孤立した状況での公平性が協働状況での公平性を保証しないことの実証を行うこと。

提案手法

• コンプライアンス耐性公平性を定義し、あらゆる人間のコンプライアンスパターンに対して、最終意思決定における公平性が弱く改善されることを保証する性質とする。
• 人間のベースラインポリシーを基準として用い、最良のパフォーマンスを達成するコンプライアンス耐性公平ポリシーを計算する最適化問題を定式化する。
• 観測された（特徴量, 行動）ペアのためのルックアップテーブルとしてコンプライアンス耐性ポリシーを表現し、未観測の組み合わせについては、人間のポリシーに従う。
• ロジスティック回帰モデルを用いてコンプライアンス行動を分析し、AIレコメンデーションが白人被告に有利な場合、特にAIがより寛容である場合に、判事のコンプライアンス率が高くなるかどうかを検証する。
• 170名のバージニア州判事を対象に、実際の判決データを用いて、さまざまなレコメンデーション戦略下でのパフォーマンスと公平性結果を比較評価する。
• アルゴリズム1を適用し、各判事に対してコンプライアンス耐性ポリシー $\pi^{\text{robust}}_A$ を導出することで、コンプライアンスにかかわらず公平性の改善が保証されるようにする。

実験結果

リサーチクエスチョン

• RQ1 人間のコンプライアンスが選択的かつ偏りを伴う状況下でも、アルゴリズム的レコメンデーションが人間とAIの協働において公平性を改善できるか？
• RQ2 人間とAIの協働における、従来のアルゴリズム公平性、コンプライアンス耐性公平性、パフォーマンス向上の間のトレードオフは何か？
• RQ3 孤立した状況で公平であり、かつコンプライアンス耐性公平であり、さらに人間のポリシーを上回る正確性を持つポリシーを設計することは可能か？
• RQ4 特に特定のデモグラフィックグループに有利なコンプライアンスパターンは、協働意思決定における既存のバイアスをどのように拡大または緩和するか？

主な発見

• コンプライアンス耐性ポリシー $\pi^{\text{robust}}_A$ は、いかなる判事のコンプライアンスパターンに対しても、公平性とパフォーマンスの弱い改善を保証するが、従来の公平性アプローチとは異なり、これはすべての判事に対して成立する。
• 従来の公平なポリシー $\pi^{\text{trad-fair}}_C$ は平均的な公平性と正確性を向上させたが、14％の判事においてコンプライアンスの選択的パターンにより公平性が低下した。
• パフォーマンスを最適化したポリシー $\pi^*_C$ は、54％の判事において公平性を低下させた。これは、孤立した状況でのパフォーマンス最適化レコメンデーションが、リスクを伴う可能性があることを示している。
• 顕著なコンプライアンスバイアスが検出された：AIが白人被告に対してより寛容である場合、判事はAIレコメンデーションにより多くコンプライアンスを示した。特にAIがより好意的である場合に顕著で、人種的格差を悪化させた。
• コンプライアンス耐性ポリシーは、このバイアスを効果的に是正した。コンプライアンスモデルにおける交互作用項 $\beta_3$ に有意差が認められなかったことから、バイアスの系統的拡大はなかったことが示された。
• バージニア州の判決データを用いた実世界の評価で、コンプライアンス耐性ポリシーは、孤立状態で最適であった従来の公平なポリシーを上回る、より強い公平性の改善を達成した。