[論文レビュー] Determinants of LLM-assisted Decision-Making

Eva Eigner, T. Handler|arXiv (Cornell University)|Feb 27, 2024

Impact of AI and Big Data on Business and Society被引用数 25

ひとこと要約

LLM支援意思決定の技術的、心理的、意思決定特有の要因を特定し、それらの相互作用の依存フレームワークを提示する、包括的な統合的文献レビュー。

ABSTRACT

Decision-making is a fundamental capability in everyday life. Large Language Models (LLMs) provide multifaceted support in enhancing human decision-making processes. However, understanding the influencing factors of LLM-assisted decision-making is crucial for enabling individuals to utilize LLM-provided advantages and minimize associated risks in order to make more informed and better decisions. This study presents the results of a comprehensive literature analysis, providing a structural overview and detailed analysis of determinants impacting decision-making with LLM support. In particular, we explore the effects of technological aspects of LLMs, including transparency and prompt engineering, psychological factors such as emotions and decision-making styles, as well as decision-specific determinants such as task difficulty and accountability. In addition, the impact of the determinants on the decision-making process is illustrated via multiple application scenarios. Drawing from our analysis, we develop a dependency framework that systematizes possible interactions in terms of reciprocal interdependencies between these determinants. Our research reveals that, due to the multifaceted interactions with various determinants, factors such as trust in or reliance on LLMs, the user's mental model, and the characteristics of information processing are identified as significant aspects influencing LLM-assisted decision-making processes. Our findings can be seen as crucial for improving decision quality in human-AI collaboration, empowering both users and organizations, and designing more effective LLM interfaces. Additionally, our work provides a foundation for future empirical investigations on the determinants of decision-making assisted by LLMs.

研究の動機と目的

• 技術的、心理的、タスク特有の次元を横断して、LLMサポート下の意思決定に影響を与える要因を特徴づける。
• 文献を要約して、要因間の相互作用と依存関係をマッピングする。
• 要因が相互にLLM支援意思決定に影響を与える方法を体系化する依存フレームワークを開発する。
• 人間とAIの協働における意思決定の品質とリスク管理に対する要因の影響を示す。

提案手法

• LLM支援意思決定に影響を与える要因を特定する統合的文献レビューを実施する。
• 技術的、心理的、意思決定特有の視点から要因を分析する。
• 構造化された表記法を用いて要因間の相互依存性を表す依存フレームワークを導出する。
• 現実の文脈で要因を示すシナリオベースの例示を提供する。

Figure 1: Key stages in the decision-making process oriented to Simon [ 169 ] extended by LLM support options.

実験結果

リサーチクエスチョン

• RQ1 技術的、心理的、意思決定特有の領域を横断して、どの要因がLLM支援意思決定に影響を与えるか？
• RQ2 これらの要因は意思決定の品質とリスク管理に影響を与える際に、どのように相互作用し依存し合うのか？
• RQ3 依存フレームワークは設計者や組織が意思決定における人間とLLMの協働をどう改善するのに役立つか？
• RQ4 特定された要因がLLM支援意思決定に与える影響を示すシナリオは何か？

主な発見

• LLMsへの信頼・依存、ユーザーのメンタルモデル、情報処理特性がLLM支援意思決定の重要な要因として現れる。
• 要因は互恵的に相互作用し、相互依存関係をモデル化するための依存フレームワークを正当化する。
• 技術的要因（例：LLMの能力、透明性、プロンプトエンジニアリング）は意思決定結果とリスク露出に影響する。
• 心理的要因（例：感情、意思決定スタイル）はユーザーがLLMの出力にどう関与し、解釈するかを形作る。
• 意思決定特有の要因（例：タスクの複雑さ、アカウンタビリティ）はLLM補助の有用性と安全性を調整する。
• アプリケーションシナリオ（S1–S6）は、要因が現実の意思決定文脈でどのように展開するかを示し、フレームワークを検証する。

Figure 2: Process of the applied methodological approach.