[論文レビュー] On the Effect of Information Asymmetry in Human-AI Teams

Patrick Hemmer, Max Schemmer+3 more|arXiv (Cornell University)|May 3, 2022

Big Data and Business Intelligence被引用数 7

ひとこと要約

本研究では、AIが利用可能な情報とは異なる文脈的情報（画像データ）に人間がアクセスできる情報非対称性が、人間-AI意思決定における補完的チームパフォーマンス（CTP）を可能にするかを調査している。不動産鑑定に関するオンライン実験において、家屋の画像にアクセスできる参加者（UHCI）は、AIの予測を著しく改善し、平均絶対誤差（MAE）が148,009ドルというCTPを達成した。これは人間単体（200,510ドル）およびAI単体（163,080ドル）の両方を上回った。

ABSTRACT

Over the last years, the rising capabilities of artificial intelligence (AI) have improved human decision-making in many application areas. Teaming between AI and humans may even lead to complementary team performance (CTP), i.e., a level of performance beyond the ones that can be reached by AI or humans individually. Many researchers have proposed using explainable AI (XAI) to enable humans to rely on AI advice appropriately and thereby reach CTP. However, CTP is rarely demonstrated in previous work as often the focus is on the design of explainability, while a fundamental prerequisite -- the presence of complementarity potential between humans and AI -- is often neglected. Therefore, we focus on the existence of this potential for effective human-AI decision-making. Specifically, we identify information asymmetry as an essential source of complementarity potential, as in many real-world situations, humans have access to different contextual information. By conducting an online experiment, we demonstrate that humans can use such contextual information to adjust the AI's decision, finally resulting in CTP.

研究の動機と目的

• 情報非対称性—具体的には、人間がAIにない独自の文脈的情報（UHCI）を所有している場合—が、人間-AIチームにおける補完的潜在力（CP）の源となり得るかどうかを調査すること。
• UHCIが人間がAIの予測を意味的に調整できること、ならびに個々のパフォーマンスを上回る補完的チームパフォーマンス（CTP）を生み出すかどうかを検証すること。
• XAI支援意思決定がCTPを達成する条件を評価し、AIの学習データを超える文脈的情報の役割に焦点を当てる。
• 効果的な人間-AI協働のための根本的条件である補完的潜在力（CP）を特定・検証し、XAIがCTPを保証すると仮定する考え方に挑戦すること。
• UHCIが分析的思考を引き起こし、AIの助言への依存を高めることでチームパフォーマンスが向上することを実証的証拠で示すこと。

提案手法

• Prolific.coを通じて抽出された101名の参加者を対象に、オンライン実験を実施。参加者は、画像にアクセスできる条件とできない条件に無作為に割り当てられた。
• AIモデルは、画像とは無関係に表形式の不動産データにのみ訓練され、価格予測と信頼度推定値を出力した。トレーニング段階で画像にはアクセスしていない。
• 参加者はまず独立して予測を行い、その後AIの予測と信頼度推定値を確認し、精度を向上させるために調整を行った。
• パフォーマンスは、予測価格と実際の価格との平均絶対誤差（MAE）を用いて測定し、条件ごとの個人およびチームパフォーマンスを比較した。
• 有意性を評価するために、両側検定の独立サンプルt検定とボンフェローニ補正を適用し、外れ値は中央絶対偏差法で除去した。
• 人種的背景などのデモグラフィックデータを収集し、参加意欲とデータ品質を確保するため、成果に基づく報酬（基本報酬＋上位10%にボーナス）を導入した。

実験結果

リサーチクエスチョン

• RQ1 独自の人間的文脈的情報（UHCI）が、人間-AI意思決定におけるAI予測の改善と補完的チームパフォーマンス（CTP）の達成を可能にするか？
• RQ2 UHCIは、不動産鑑定タスクにおける人間-AIチームのパフォーマンスを、人間単体またはAI単体のパフォーマンスと比較してどのように影響するか？
• RQ3 UHCIにアクセスする人間がCTPを達成する場合、そのパフォーマンス向上は統計的に有意であり、AI単体のパフォーマンスを上回るか？
• RQ4 UHCIは、AIの助言に対する反応において、直感的思考から分析的思考へのシフトを促す程度はどの程度か？
• RQ5 補完的潜在力（CP）と説明可能AI（XAI）技術との相互作用が、適切な依存度とチームパフォーマンスにどのように影響するか？

主な発見

• UHCIが存在しない状況では、人間のパフォーマンスは平均絶対誤差（MAE）が251,282ドルであったが、UHCI条件では有意に改善され、200,510ドルに低下した（p < 0.001）。
• UHCIなし条件における人間-AIチームのMAEは160,095ドルであり、AI単体のパフォーマンス（163,080ドル）と有意差がなかった（p = 0.99）。
• UHCI条件では、人間-AIチームのMAEが148,009ドルにまで低下し、AI単体（p = 0.0155）および人間単体（p < 0.001）の両方を有意に上回った。
• UHCI条件におけるチームパフォーマンスは、UHCIなし条件よりも有意に優れていた（p < 0.001）、これによりUHCIがCTPを可能にすることが実証された。
• UHCIの存在により、人間-AIチームのパフォーマンスはUHCIなしチームと比較して12,086ドル改善した。これは、UHCIがAI予測の効果的な調整を可能にしていることを示している。
• 本研究は、AIがアクセスできない独自の文脈的情報を持つ人間がCTPを達成できることを確認し、効果的な人間-AI協働のための重要な前提条件を検証した。