[論文レビュー] Designing Algorithmic Recommendations to Achieve Human-AI Complementarity

Bryce McLaughlin, Jann Spiess|arXiv (Cornell University)|May 2, 2024

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本論文は、二値意思決定における人間とAIの補完的関係を強化するための因果推論に基づくフレームワークを提案する。潜在的アウトカムと単調性仮定を用いて、人間の推薦への従順性と反応をモデル化することで、著者らは、直接的な予測を提供するのではなく、補完的情報を提供するように設計されたアルゴリズムが、制御された採用実験において人間の意思決定パフォーマンスを顕著に向上させることを示した。

ABSTRACT

Algorithms frequently assist, rather than replace, human decision-makers. However, the design and analysis of algorithms often focus on predicting outcomes and do not explicitly model their effect on human decisions. This discrepancy between the design and role of algorithmic assistants becomes particularly concerning in light of empirical evidence that suggests that algorithmic assistants again and again fail to improve human decisions. In this article, we formalize the design of recommendation algorithms that assist human decision-makers without making restrictive ex-ante assumptions about how recommendations affect decisions. We formulate an algorithmic-design problem that leverages the potential-outcomes framework from causal inference to model the effect of recommendations on a human decision-maker's binary treatment choice. Within this model, we introduce a monotonicity assumption that leads to an intuitive classification of human responses to the algorithm. Under this assumption, we can express the human's response to algorithmic recommendations in terms of their compliance with the algorithm and the active decision they would take if the algorithm sends no recommendation. We showcase the utility of our framework using an online experiment that simulates a hiring task. We argue that our approach can make sense of the relative performance of different recommendation algorithms in the experiment and can help design solutions that realize human-AI complementarity. Finally, we leverage our approach to derive minimax optimal recommendation algorithms that can be implemented with machine learning using limited training data.

研究の動機と目的

• 意思決定の最終責任が人間にある状況において、推薦が実際に人間の意思決定に与える影響を無視しがちなアルゴリズム設計のギャップを埋める。
• 人間が意思決定権を保持する主従モデルにおいて、アルゴリズムの設計を形式化することで、人間とアルゴリズムの専門性の補完的関係を可能にする。
• 因果推論の原則を用いて、人間の推薦への反応（特に従順性と能動的判断）を明示的にモデル化するフレームワークを開発する。
• 実証的に、予測精度に特化したアルゴリズムよりも、補完的設計を目的とした推薦アルゴリズムが、人間支援意思決定タスクにおいて優れたパフォーマンスを示すことを示す。
• アルゴリズムの正確性と人間の反応効果にパフォーマンスを分解することで、推薦システムを原理的かつ最適化するアプローチを提供する。

提案手法

• 因果推論における潜在的アウトカムフレームワークを用いて、異なる推薦条件下でのアウトカムをモデル化することで、推薦設計問題を形式化する。
• 人間の推薦への反応を制限する単調性仮定を導入し、推薦が意思決定を推薦された行動方向にのみ移動させることを仮定する。
• 目的関数を2つの成分に分解する：(1) アルゴリズムの推薦を直接実装した際の損失、(2) 人間が推薦から逸脱した際の損失。
• 因果推論における道具変数のアナロジーを用いて、従順行動をモデル化し、推薦を人間の意思決定に影響を与える道具とみなす。
• オンライン実験を用いて、961名の被験者を対象に採用タスクをシミュレートし、従順性に関する異なる仮定に基づく推薦アルゴリズムを変動させる。
• 理解度チェックを用いて、アルゴリズムの理解がアウトカムに与える影響を検証するなど、治療群（例：予測型、補完型、トリージ）間のパフォーマンスを実証的に評価する。

実験結果

リサーチクエスチョン

• RQ1 推薦アルゴリズムは、単に結果を予測するのではなく、どのようにして人間の意思決定を改善できるか？
• RQ2 人間の推薦への従順性が、全体のシステムパフォーマンスを決定づける役割を果たすのはどのような状況か？
• RQ3 二値意思決定タスクにおいて、人間とAIの補完的関係が成立する条件は何か？
• RQ4 異なるアルゴリズム設計（例：予測型対補完型）は、現実世界の意思決定シナリオにおける人間のパフォーマンスにどのように影響を与えるか？
• RQ5 人間意思決定者が推薦アルゴリズムをどの程度理解しているかが、人間とAIの協働の成功にどの程度影響を与えるか？

主な発見

• 被験者は、コントロール（アルゴリズムなし）または予測型アルゴリズム単体よりも、補完型および補完型トリージ推薦アルゴリズムで顕著に高いパフォーマンスを示し、人間とAIの補完的関係を達成した。
• 意思決定を規定せず、補完的情報を提供する補完型アルゴリズムは、実験で他のすべてのテスト済みアルゴリズムを上回るパフォーマンスを示した。
• 予測型治療群の被験者は、アルゴリズム単体または人間単体のパフォーマンスと同等であり、協働による改善を達成できなかった。
• 理解度チェックで正しく回答した被験者（アルゴリズムの理解度を測定）は、より強く一貫性のあるパフォーマンスを示し、アルゴリズムの透明性の重要性を裏付けた。
• 従順行動は一般的に洗練されており、被験者は適切な場合にはエンジニアリング候補者に対して推薦を無視するなど、状況に応じた洗練された意思決定が可能であった。これは、補完的支援が与えられた場合、人間が洗練された文脈認識意思決定を下せることを示している。
• このフレームワークは、異なるアルゴリズムの相対的パフォーマンスをうまく説明でき、有効な人間とAIの協働システムを予測・設計するうえでの実用性を検証した。