[논문 리뷰] Artificial Intelligence and Strategic Decision-Making: Evidence from Entrepreneurs and Investors

Felipe A. Csaszar, Harsh Ketkar외 1명|arXiv (Cornell University)|2024. 08. 16.

Stock Market Forecasting Methods인용 수 13

한 줄 요약

이 논문은 AI가 대형 언어 모델(LLMs)을 통해 전략적 의사결정을 생성하고 평가할 수 있는 방법을 조사하여 AI-계획이 현실적 맥락에서 인간 기업가 및 투자자와 비슷한 성과를 낼 수 있음을 보여주고, SDM 프로세스에 대한 AI의 영향을 개요한다.

ABSTRACT

This paper explores how artificial intelligence (AI) may impact the strategic decision-making (SDM) process in firms. We illustrate how AI could augment existing SDM tools and provide empirical evidence from a leading accelerator program and a startup competition that current Large Language Models (LLMs) can generate and evaluate strategies at a level comparable to entrepreneurs and investors. We then examine implications for key cognitive processes underlying SDM -- search, representation, and aggregation. Our analysis suggests AI has the potential to enhance the speed, quality, and scale of strategic analysis, while also enabling new approaches like virtual strategy simulations. However, the ultimate impact on firm performance will depend on competitive dynamics as AI capabilities progress. We propose a framework connecting AI use in SDM to firm outcomes and discuss how AI may reshape sources of competitive advantage. We conclude by considering how AI could both support and challenge core tenets of the theory-based view of strategy. Overall, our work maps out an emerging research frontier at the intersection of AI and strategy.

연구 동기 및 목표

• AI 도구 및 프로세스를 통해 전략적 의사결정(SDM)을 보강할 수 있는 동기를 제시한다.
• LLMs가 기업가적 전략을 생성하고 평가하는 데에 대한 경험적 증거를 제공한다.
• AI가 탐색, 표현, 집계 등 인지적 SDM 프로세스에 미치는 영향을 이론화한다.
• 경쟁우위 및 이론 기반 전략 관점에 대한 시사점을 논의한다.

제안 방법

• GPT-4를 활용한 AI 보강으로 네 가지 SDM 도구(Scenario Planning, Porter의 Five Forces, Devil’s Advocate, Wisdom of the Crowd)를 재구상하고 잠재적 응용을 설명한다.
• 현실적 맥락에서 AI가 생성한 전략과 인간이 생성한 전략을 비교하기 위한 두 개의 경험적 연구를 수행한다: 스타트업 액셀러레이터 생성 실험(GPT-3.5)과 스타트업 대회 평가 연구(LLM 대 인간 심판).
• 평가자가 평가자 효과를 통제하기 위해 내적 설계로 AI와 인간이 생성한 계획을 모두 평가하도록 한다.
• AI 대 비-AI 계획을 비교하는 선형 사양 및 점수, 채택, 관심, 투자 가능성 등의 평가 지표를 분석한다.
• AI가 생성한 계획의 품질을 실제 가속기 의사결정과 연계해 신호의 관련성을 검증한다.

실험 결과

연구 질문

• RQ1 현존하는 도구를 사용한 실제 SDM에서 AI-보강 SDM이 어떻게 보일 수 있는가?
• RQ2 현실적인 기업가적 맥락에서 전략적 계획의 생성 및 평가에 있어 현재의 LLM은 얼마나 효과적인가?
• RQ3 AI를 SDM에 도입하는 것이 인지적 프로세스와 경쟁적 결과에 어떤 시사점을 주는가?
• RQ4 투자자 관심과 의사결정 결과 측면에서 AI가 생성한 전략이 인간이 생성한 전략과 어떻게 비교되는가?

주요 결과

• LLM이 생성한 비즈니스 계획은 주요 속성에서 평균 0.14 표준편차 더 높은 평가를 받았다(p<0.001).
• 평가자들은 LLM이 생성한 계획을 채택하도록 권고할 가능성이 5%포인트 더 높았다(p=0.003).
• LLM이 생성한 계획은 투자자 소개로 이어질 가능성이 3%포인트 더 높았고(p=0.094), 투자를 유치할 가능성도 3%포인트 더 높았다(p=0.007).
• 별도의 가속기 분석에서 LLM이 생성한 계획은 수용 및 관심 지표에서 거절된 기업가의 계획보다 각각 7–8%포인트 더 높은 성과를 보였고(p=0.003, p=0.001), 투자 측면에서도 6%포인트 더 우수했다(p<0.001).
• 스타트업 대회에서 138개 비즈니스 계획에 대한 LLM 평가와 인간 투자자 점수의 상관관계가 나타났으며(평균 상관계수 0.52; ICC 0.51, AI와 VC 점수 간), 인간 심판 간의 일치도보다 높았다.
• 지표 전반에서 AI 점수는 평가된 계획에 대해 투자자 점수의 변동성의 약 29%를 설명한다.