[논문 리뷰] When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments

Chong Zhang, Xinyi Liu외 11명|arXiv (Cornell University)|2024. 07. 15.

Stock Market Forecasting MethodsDecision Sciences인용 수 3

한 줄 요약

이 논문은 외부 요인(예: 거시경제, 정책 변화, 시장 이벤트)이 AI 기반 거래 행동에 미치는 영향을 연구하기 위해 실제 주식 거래 환경을 시뮬레이션하는 다중 에이전트 LLM 기반 프레임워크인 StockAgent를 소개한다. 테스트 데이터 泄露를 방지하고 LLM을 활용해 다양한 투자자 전략을 모델링함으로써, GPT와 Gemini 에이전트 간에 특히 뚜렷한 행동 패턴(예: 집단적 행동 감소, 전략 다양성 증가)을 규명하여 LLM 기반 투자 신뢰성과 개인화 가능성에 대한 통찰을 제공한다.

ABSTRACT

Can AI Agents simulate real-world trading environments to investigate the impact of external factors on stock trading activities (e.g., macroeconomics, policy changes, company fundamentals, and global events)? These factors, which frequently influence trading behaviors, are critical elements in the quest for maximizing investors' profits. Our work attempts to solve this problem through large language model based agents. We have developed a multi-agent AI system called StockAgent, driven by LLMs, designed to simulate investors' trading behaviors in response to the real stock market. The StockAgent allows users to evaluate the impact of different external factors on investor trading and to analyze trading behavior and profitability effects. Additionally, StockAgent avoids the test set leakage issue present in existing trading simulation systems based on AI Agents. Specifically, it prevents the model from leveraging prior knowledge it may have acquired related to the test data. We evaluate different LLMs under the framework of StockAgent in a stock trading environment that closely resembles real-world conditions. The experimental results demonstrate the impact of key external factors on stock market trading, including trading behavior and stock price fluctuation rules. This research explores the study of agents' free trading gaps in the context of no prior knowledge related to market data. The patterns identified through StockAgent simulations provide valuable insights for LLM-based investment advice and stock recommendation. The code is available at https://github.com/MingyuJ666/Stockagent.

연구 동기 및 목표

• 역사적 데이터 泄露에 의존하지 않고 실제 주식 거래 동역학을 모델링하는 시뮬레이션 프레임워크를 개발하는 것.
• 경제 지표, 정책 변화, 기업 보고서와 같은 외부 요인이 AI 에이전트의 거래 행동과 수익성에 미치는 영향을 조사하는 것.
• 통제된 이벤트 기반 시장 환경에서 서로 다른 LLM(예: GPT 대비 Gemini) 간의 거래 전략과 의사결정 성향의 차이를 평가하는 것.
• 투자 전략, 감성 동역학, 리스크 노출도를 시뮬레이션된 시장에서 테스트하기 위한 설명 가능하고 커스터마이징 가능한 기반 에이전트 기반 실험을 가능하게 하는 것.
• LLM 기반 주식 추천 및 고도의 거래 시스템의 신뢰성과 편향 프로파일 평가를 위한 기반을 제공하는 것.

제안 방법

• 각 에이전트가 고유한 의사결정 스타일을 가진 개인 투자자처럼 행동하는 대규모 언어모델(LLM)에 의해 구동되는 다중 에이전트 AI 시스템을 설계하는 것.
• 뉴스 이벤트, 실적 보고서, 금리 변화, 대출 메커니즘 등을 포함한 실제 시장 조건을 모델링하는 이벤트 기반 시뮬레이션 엔진을 구현하는 것.
• LLM이 향후 시장 데이터에 액세스하거나 기억하지 못하도록 하여 테스트 세트 泄露를 완전히 제거하는 테스트 데이터 격리 메커니즘을 도입하는 것.
• 맥락 기반 시장 정보, 외부 사건, 에이전트 고유 역할(예: 성장주 대비 가치주 투자자)을 바탕으로 LLM을 활용해 거래 결정을 생성하는 것.
• 에이전트 행동을 제어하고 다양한 투자 스타일 및 리스크 선호도를 시뮬레이션하기 위해 커스터마이징 가능한 프롬프트와 역할 정의를 통합하는 것.
• 공유 정보 채널(예: 감성 공유용 BBS)을 통한 에이전트 간 동적 상호작용을 가능하게 하되, 특정 기능을 선택적으로 비활성화하여 행동적 영향을 연구할 수 있도록 하는 것.

Figure 2. The workflow of trading simulation.

실험 결과

연구 질문

• RQ1 거시경제적 변화, 정책 변화, 기업 기초재무제표와 같은 외부 요인이 시뮬레이션된 시장에서 LLM 기반 AI 에이전트의 거래 행동과 수익성에 어떤 영향을 미치는가?
• RQ2 다른 LLM 내재적 편향과 추론 패턴(예: GPT 대비 Gemini)이 다릅니다. 이러한 차이가 거래 전략과 성과 결과에 얼마나 큰 영향을 미치는가?
• RQ3 테스트 데이터에 대한 사전 지식이 없는 상황에서, 집단적 행동이나 추세 추종과 같은 체계적 거래 행동이 LLM 기반 에이전트에서 어떻게 나타나는가?
• RQ4 특정 정보 채널(예: BBS, 대출 기능)을 비활성화할 경우, 에이전트의 리스크 취약도, 수익 변동성, 시장 경쟁에 어떤 영향을 미치는가?
• RQ5 역사적 데이터에 의존하지 않고도 LLM 기반 에이전트가 개인화된 투자 스타일과 다양한 전략을 시뮬레이션할 수 있는가? 이는 시뮬레이션의 현실성에 어떤 영향을 미치는가?

주요 결과

• GPT 기반 에이전트는 집단적 행동과 추세 추종 경향이 감소한 채로 더 독립적이고 다양한 거래 행동을 보였다.
• 1라운드 이외의 대출 기능과 BBS 정보 공유 기능을 비활성화함으로써 모든 에이전트가 더 보수적인 거래 행동을 보였으며, 이는 정보와 레버리지 메커니즘이 리스크 노출도에 영향을 미친다는 것을 시사한다.
• 이윤 보고서나 금리 변화 이벤트를 제거함으로써 일부 에이전트가 손실에서 수익으로 전환되는 경향을 보였으며, 이는 기초 데이터가 에이전트 성과에 결정적인 역할을 한다는 것을 강조한다.
• 금융 정보에 대한 액세스를 제거함으로써 에이전트 간 수익 및 손실 변동성이 증가했으며, 이는 더 높은 시장 경쟁과 예측 불가능성 증가를 의미한다.
• 동일한 외부 환경에 노출되어 있음에도 불구하고 LLM 에이전트는 고유한 내재된 거래 성향을 유지했으며, 이는 맥락 인식 및 단일 스텝 결정에서도 모델 고유의 편향이 지속된다는 것을 시사한다.
• 시뮬레이션은 LLM 기반 에이전트가 개인화된 투자 스타일을 구현할 수 있음을 드러내었으며, 이는 이질적인 투자자 행동을 모델링하고 전략의 강건성 테스트에 활용될 수 있음을 뒷받침한다.

Figure 3. The demonstration of stock market investment. In our simulation, agents make investment decisions based on multiple external sources of information.