[論文レビュー] Complementarity in Human-AI Collaboration: Concept, Sources, and Evidence

Patrick Hemmer, Max Schemmer+3 more|arXiv (Cornell University)|Mar 21, 2024

Ethics and Social Impacts of AI被引用数 12

ひとこと要約

本論文は人間とAIの補完性の理論的枠組みを構築し、補完性ポテンシャルとその本質的/協働的成分を定義し、情報と能力の非対称性に関する2つの経験的研究を通じて検証している。

ABSTRACT

Artificial intelligence (AI) has the potential to significantly enhance human performance across various domains. Ideally, collaboration between humans and AI should result in complementary team performance (CTP) -- a level of performance that neither of them can attain individually. So far, however, CTP has rarely been observed, suggesting an insufficient understanding of the principle and the application of complementarity. Therefore, we develop a general concept of complementarity and formalize its theoretical potential as well as the actual realized effect in decision-making situations. Moreover, we identify information and capability asymmetry as the two key sources of complementarity. Finally, we illustrate the impact of each source on complementarity potential and effect in two empirical studies. Our work provides researchers with a comprehensive theoretical foundation of human-AI complementarity in decision-making and demonstrates that leveraging these sources constitutes a viable pathway towards designing effective human-AI collaboration, i.e., the realization of CTP.

研究の動機と目的

• 人間とAIの補完性の概念を定義し、補完性ポテンシャル（CP）を形式化する。
• CPの情報源と能力源を特定・分類する。
• 本質的CPと協働的CPを区別し、それらを実現されたパフォーマンス向上（CE）と関連づける。
• 実証的に2つの研究でフレームワークを検証する：不動産評価における情報非対称性と画像分類における能力非対称性。

提案手法

• 人間（H）とAI（AI）の意思決定と協働メカニズムI(·)を用いた意思決定を形式化する。
• 補完性ポテンシャル（CP）を、最良の単独実 actor の損失と0損失のグラウンドトゥルースとの差として定義し、CPinhとCPcollに分解する。
• 実現された補完効果（CE）を、協働による実現損失削減として定義し、CEinhとCEcollの成分を持つ。
• CP、CPinh、CPcoll、CE、およびCE成分の式を導出する（式3–式10）。
• 情報非対称性（不動産評価）と能力非対称性（画像分類）を分離するための2つの実験研究を開発する。
• 意思決定における人間とAIの協働設計と評価に対する含意を論じる。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 人間とAIの意思決定をどのようにモデル化すれば、人間−AIチームにおけるシナジーをニュアンス深く理解できるか。
• RQ2 RQ2: 人間−AIの意思決定において補完的なチームパフォーマンス（CTP）に寄与する要因は何か。

主な発見

• 補完性ポテンシャル（CP）は本質的CPと協働的CPに分解され、これらはHとAIがそれぞれ単独で超過する方法を説明する。
• 2つの研究の証拠は、非対称な情報と非対称な能力がCPを高め、意思決定タスクにおけるCTPを可能にすることを示している。
• 不動産の研究では、人間はAIの予測とともに独自の文脈情報を活用してCPに寄与した。
• 画像分類の研究では、人間とAIの間の異質な能力がCPに寄与し、CTPを可能にした。
• このフレームワークは、タスク全体を通じた実現的協働（CE）とその本質的/協働的成分を測定する方法を提供する。