[論文レビュー] Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making

Shuai Ma, Qiaoyi Chen+5 more|arXiv (Cornell University)|Mar 25, 2024

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

この論文は、人間とAIのディレクションを可能にするHuman-AI Deliberationフレームワークと、domain-specific modelsとLLMsを組み合わせて意思決定における人間とAIのディメンションレベルの議論を可能にするDeliberative AIを提案し、大学院入学タスクでデモンストレーションする。

ABSTRACT

In AI-assisted decision-making, humans often passively review AI's suggestion and decide whether to accept or reject it as a whole. In such a paradigm, humans are found to rarely trigger analytical thinking and face difficulties in communicating the nuances of conflicting opinions to the AI when disagreements occur. To tackle this challenge, we propose Human-AI Deliberation, a novel framework to promote human reflection and discussion on conflicting human-AI opinions in decision-making. Based on theories in human deliberation, this framework engages humans and AI in dimension-level opinion elicitation, deliberative discussion, and decision updates. To empower AI with deliberative capabilities, we designed Deliberative AI, which leverages large language models (LLMs) as a bridge between humans and domain-specific models to enable flexible conversational interactions and faithful information provision. An exploratory evaluation on a graduate admissions task shows that Deliberative AI outperforms conventional explainable AI (XAI) assistants in improving humans' appropriate reliance and task performance. Based on a mixed-methods analysis of participant behavior, perception, user experience, and open-ended feedback, we draw implications for future AI-assisted decision tool design.

研究の動機と目的

• 人間が意思決定においてAIに過小評価・過大評価することがあるという限界に対処し、対立する人間とAIの意見についての熟考を可能にする。
• Weight of Evidenceを用いて、人間とAIの意見を誘発・整合・議論・更新するフレームワークを開発する。
• 対話的な熟考と忠実な情報提供のために、domain-specific modelsとLLMsを統合したDeliberative AIを設計・実装する。
• 大学院入学のシナリオにおいて、熟考が意思決定性能、AIへの依存、ユーザーの知覚・体験に与える影響を実証的に探究する。

提案手法

• Weight of Evidenceに基づく四部構成フレームワーク（Elicitation、Alignment、Discussion、Update）を提案し、ディメンションレベルの熟考に適用する。
• Communication、Control、Knowledgeの3層にまたがって、domain-specific models (DS models)とLLMsを組み合わせたDeliberative AIアーキテクチャを導入する。
• 設計上の考慮事項（Participation equality、Justification rationality、Constructive updates、Interactivity、Respect）を定義し、これらの基準を満たすDeliberative AIを実装する。
• 合成された応募者プロファイルを用いて、大学院入学タスク上でフレームワークを実装し、Deliberative AIを従来のXAIおよび人間ベースラインと比較する。
• タスク実行性能、AI依存感、ユーザー体験、会話ログ、開放型フィードバックを含む混合研究法データを収集する。

Figure 1. An illustration of Human-AI Deliberation . (A) In traditional AI-assisted decision-making, when humans disagree with AI’s suggestions (and only find parts of AI’s reasons applaudable), it is difficult for humans to decide whether and how much to adopt AI’s suggestion. (B) In our proposed H

実験結果

リサーチクエスチョン

• RQ1 RQ1: 人間とAIの両方にとって、難易度の高いタスク事例において、Human-AI Deliberationはタスク性能とAIへの適切な依存にどのように影響するか。
• RQ2 RQ2: フレームワークは人間のAIへの認識とユーザー体験にどのような影響を与えるか。
• RQ3 RQ3: Deliberative AIと相互作用する際に、人間は熟考プロセスにどのように関与するか。
• RQ4 RQ4: ユーザーはHuman-AI Deliberationの効果をどのように認識し、どのような改善が示唆されるか。

主な発見

• Deliberative AIは、従来のXAIアシスタントと比較して意思決定の正確性を向上させる潜在力を示している。
• 熟考を促進することにより、AIの合理的根拠をより慎重に検討させ、AIへの適切な依存に影響を与える。
• 参加者の行動・認識・フィードバックは、インターフェース設計とAI支援意思決定ツールの今後の改善点について洞察を提供する。
• 大学院入学タスクは、熟考をAI支援意思決定へ組み込むことの実現可能性と価値を示している。

Figure 2. The framework for Human-AI Deliberation . (A) Illustrates the Weight of Evidence (WoE) concept in decision-making, showcasing how decision-makers assess evidence across dimensions to shape opinions and arrive at a final decision. (B) Presents the Architecture for Human-AI Deliberation , wi