[논문 리뷰] Determinants of LLM-assisted Decision-Making

Eva Eigner, T. Handler|arXiv (Cornell University)|2024. 02. 27.

Impact of AI and Big Data on Business and Society인용 수 25

한 줄 요약

포괄적 통합적 문헌고찰로 LLM 보조 의사결정의 기술적, 심리적, 결정 특성 결정 요인을 식별하고 이들 상호작용의 의존성 프레임워크를 제시한다.

ABSTRACT

Decision-making is a fundamental capability in everyday life. Large Language Models (LLMs) provide multifaceted support in enhancing human decision-making processes. However, understanding the influencing factors of LLM-assisted decision-making is crucial for enabling individuals to utilize LLM-provided advantages and minimize associated risks in order to make more informed and better decisions. This study presents the results of a comprehensive literature analysis, providing a structural overview and detailed analysis of determinants impacting decision-making with LLM support. In particular, we explore the effects of technological aspects of LLMs, including transparency and prompt engineering, psychological factors such as emotions and decision-making styles, as well as decision-specific determinants such as task difficulty and accountability. In addition, the impact of the determinants on the decision-making process is illustrated via multiple application scenarios. Drawing from our analysis, we develop a dependency framework that systematizes possible interactions in terms of reciprocal interdependencies between these determinants. Our research reveals that, due to the multifaceted interactions with various determinants, factors such as trust in or reliance on LLMs, the user's mental model, and the characteristics of information processing are identified as significant aspects influencing LLM-assisted decision-making processes. Our findings can be seen as crucial for improving decision quality in human-AI collaboration, empowering both users and organizations, and designing more effective LLM interfaces. Additionally, our work provides a foundation for future empirical investigations on the determinants of decision-making assisted by LLMs.

연구 동기 및 목표

• LLM 지원 하 의사결정에 영향을 주는 요인을 기술적, 심리적 및 과업-특정 차원에서 특성화한다.
• 결정 요인들 간의 상호작용과 의존성을 매핑하기 위해 문헌을 종합한다.
• 결정 요인들이 서로 어떻게 LLM-지원 의사결정에 상호 영향을 미치는지 체계화하기 위한 의존성 프레임워크를 개발한다.
• 인간-AI 협업에서 결정 품질과 위험 관리에 결정 요인이 어떻게 영향을 미치는지 설명한다.

제안 방법

• LLM 보조 의사결정에 영향을 주는 결정 요인을 식별하기 위한 통합적 문헌고찰을 수행한다.
• 기술적, 심리적 및 의사결정 특성 관점에서 결정 요인을 분석한다.
• 구조화된 표기법을 사용하여 결정 요인 간의 상호의존성을 나타내는 의존성 프레임워크를 도출한다.
• 실제 맥락에서 결정 요인을 시나리오 기반으로 시연한다.

Figure 1: Key stages in the decision-making process oriented to Simon [ 169 ] extended by LLM support options.

실험 결과

연구 질문

• RQ1 기술적, 심리적, 의사결정 특성 영역 전반에서 LLM 보조 의사결정에 영향을 미치는 결정 요인은 무엇인가?
• RQ2 이 결정 요인들이 의사결정 품질과 위험 관리에 미치는 영향에서 서로 어떻게 상호 작용하고 의존하는가?
• RQ3 의존성 프레임워크가 의사결정에서 인간-LLM 협업을 개선하는 데 디자이너와 조직에 어떻게 도움이 되는가?
• RQ4 확인된 결정 요인이 LLM 보조 의사결정에 미치는 영향을 보여주는 시나리오는 무엇인가?

주요 결과

• LLMs에 대한 신뢰 또는 의존, 사용자의 인지 모델, 정보처리 특성이 LLM 보조 의사결정의 중요한 결정 요인으로 나타난다.
• 결정 요인들은 상호 의존적으로 상호 작용하며, 의존성 프레임워크를 사용해 상호 의존성을 모델링하는 것을 정당화한다.
• 기술적 결정 요인(예: LLM 능력, 투명성, 프롬프트 엔지니어링)이 의사결정 결과와 위험 노출에 영향을 미친다.
• 심리적 결정 요인(예: 감정, 의사결정 스타일)이 사용자가 LLM 출력에 어떻게 참여하고 해석하는지 형성한다.
• 의사결정 특성 결정 요인(예: 과제 복잡성, 책임성)이 LLM 보조의 유용성과 안전성을 조절한다.
• 적용 시나리오(S1–S6)는 결정 요인들이 실제 의사결정 맥락에서 어떻게 나타나는지 보여주고 프레임워크를 검증한다.

Figure 2: Process of the applied methodological approach.