[論文レビュー] Enhancing the Accuracy and Fairness of Human Decision Making

Isabel Valera, Adish Singla+1 more|arXiv (Cornell University)|May 25, 2018

Game Theory and Voting Systems被引用数 20

ひとこと要約

本稿では、バイアスや未知の閾値を伴う専門家を想定した、人的意思決定における正確性と公平性を向上させるための逐次的意思決定フレームワークを提案する。専門家を閾値ベースの意思決定者としてモデル化し、制約付き二部マッチング問題を解くことで、探索と活用のトレードオフを後方確率サンプリングを用いてサブラインアクレジットで達成する。ランダムな割り当てに比べ、正確性と公平性が顕著に向上し、偏った専門家や未知の閾値が存在する状況でも有効である。

ABSTRACT

Societies often rely on human experts to take a wide variety of decisions affecting their members, from jail-or-release decisions taken by judges and stop-and-frisk decisions taken by police officers to accept-or-reject decisions taken by academics. In this context, each decision is taken by an expert who is typically chosen uniformly at random from a pool of experts. However, these decisions may be imperfect due to limited experience, implicit biases, or faulty probabilistic reasoning. Can we improve the accuracy and fairness of the overall decision making process by optimizing the assignment between experts and decisions? In this paper, we address the above problem from the perspective of sequential decision making and show that, for different fairness notions from the literature, it reduces to a sequence of (constrained) weighted bipartite matchings, which can be solved efficiently using algorithms with approximation guarantees. Moreover, these algorithms also benefit from posterior sampling to actively trade off exploitation---selecting expert assignments which lead to accurate and fair decisions---and exploration---selecting expert assignments to learn about the experts' preferences and biases. We demonstrate the effectiveness of our algorithms on both synthetic and real-world data and show that they can significantly improve both the accuracy and fairness of the decisions taken by pools of experts.

研究の動機と目的

• アルゴリズムバイアスに関する懸念が高まる中、人的意思決定における公平性を保証するための機械学習手法が不足しているという問題に対処すること。
• 保釈判断や論文査読といった逐次の人的意思決定の正確性と公平性を、専門家プールからの最適な専門家割り当てによって向上させること。
• 専門家の行動を閾値意思決定ルールとしてモデル化し、差別の的影響（disparate impact）のような公平性制約を組み込むこと。
• 専門家の閾値が未知である状況において、後方確率サンプリングを用いてサブラインアクレジットを達成する探索と活用のトレードオフを効果的に実現すること。
• 本手法の有効性を合成データおよび実世界の犯罪司法データ（COMPAS）を用いて示し、専門家プールのバイアスや多様性に対しても頑健であることを示すこと。

提案手法

• 各専門家を、学習された条件付き確率と予測リスクの閾値に基づく意思決定ルールとしてモデル化する。
• 公平性制約なしの場合、専門家割り当て問題を多項式時間で正確に解ける重み付き二部マッチング問題に還元する。
• 公平性制約（例：差別的影響）がある場合、問題を制限付き色付きマッチングとして定式化し、バイクリテリアの線形計画法に基づくアルゴリズムを用いて1/2の近似保証を得る。
• 未知の専門家閾値を推定するために後方確率サンプリングを用い、点推定に比べて線形レジットを示すサブラインアクレジットを達成する積極的学習を可能にする。
• 逐次的意思決定フレームワーク内で、探索（専門家のバイアスの学習）と活用（最適な割り当ての選択）を統合する。
• データから真の条件付き確率 $ p_{Y|X,Z} $ を推定するためにロジスティック回帰を用い、これにより意思決定ルールと閾値推定が行われる。

実験結果

リサーチクエスチョン

• RQ1 人的意思決定における正確性と公平性を向上させるために、専門家の割り当てを最適化できるか？
• RQ2 差別的影響のような公平性制約を、専門家割り当てアルゴリズムに形式的に統合する方法は何か？
• RQ3 専門家の多様性（例：寛大な対比して厳しい裁判官）が、公平な割り当ての実現可能性と性能に与える影響は何か？
• RQ4 専門家の閾値が未知である状況で、後方確率サンプリングと点推定は、閾値推定においてどのように比較されるか？
• RQ5 一定割合の専門家が感受性属性（例：人種）に対してバイアスを有する場合、本アルゴリズムはどの程度の範囲で公平性を保証できるか？

主な発見

• 提案手法は、合成データおよび実世界のCOMPASデータの両方において、ランダムな割り当てに比べ、期待効用と実際の効用の両方を高め、意思決定の正確性が向上していることを示している。
• 本手法は、専門家プールが多様な場合に特に顕著に、差別的影響（公平性の指標）をランダムな割り当てよりも顕著に低減している。
• 裁判官の50％が感受性属性（例：人種）に対してバイアスを持つ場合でも、最適な専門家-意思決定割り当てを選択することで、本手法は公平性を維持している。
• 後方確率サンプリングにより、閾値推定においてサブラインアクレジットが達成され、点推定に比べて優れた性能を示している（点推定は線形レジットを示す）。
• 専門家プールの多様性が高くなるほど、有効な割り当てが見つかる確率が上昇し、低い差別的影響を達成する可能性が高まることが示された。
• 専門家の閾値が未知であっても、後方確率サンプリングにより正確かつ公平な割り当てが積極的学習によって達成され、本手法は有効である。