[논문 리뷰] QuantAgent: Seeking Holy Grail in Trading by Self-Improving Large Language Model

Saizhuo Wang, Hang Yuan외 2명|arXiv (Cornell University)|2024. 02. 06.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 금융 시장 신호 생성을 반복적으로 개선하는 자기 향상형 LLM 기반 자율 에이전트인 QuantAgent를 제안한다. 이는 내부 지식 기반 개선 루프와 외부 실세계 백테스팅 루프로 구성된 이중 루프 프레임워크를 사용한다. 내부 루프에서의 지식 기반 개선과 외부 루프에서의 실세계 백테스팅을 결합함으로써, 에이전트는 신호 품질과 예측 정확도를 자율적으로 향상시키며, 시간이 지남에 따라 정보 계수(IC)와 샤프 비율에서 뚜렷한 향상을 이룬다.

ABSTRACT

Autonomous agents based on Large Language Models (LLMs) that devise plans and tackle real-world challenges have gained prominence.However, tailoring these agents for specialized domains like quantitative investment remains a formidable task. The core challenge involves efficiently building and integrating a domain-specific knowledge base for the agent's learning process. This paper introduces a principled framework to address this challenge, comprising a two-layer loop.In the inner loop, the agent refines its responses by drawing from its knowledge base, while in the outer loop, these responses are tested in real-world scenarios to automatically enhance the knowledge base with new insights.We demonstrate that our approach enables the agent to progressively approximate optimal behavior with provable efficiency.Furthermore, we instantiate this framework through an autonomous agent for mining trading signals named QuantAgent. Empirical results showcase QuantAgent's capability in uncovering viable financial signals and enhancing the accuracy of financial forecasts.

연구 동기 및 목표

• 재무 금융 분야의 고도로 전문화된 도메인 지식 기반을 구축하고 통합하는 데 도전하는 데 기여하기 위해.
• 최소한의 인간 간섭으로도 자율 에이전트가 폐쇄형 시스템을 통해 자기 향상할 수 있도록 보장하기 위해.
• LLM 기반 에이전트에서 지식 통합을 체계적으로 평가하고 향상시키는 원칙적인 프레임워크를 개발하기 위해.
• 이 프레임워크의 효과성을 입증하기 위해 고품질의 실용적 재무 신호를 채굴하는 데 기여하기 위해.
• 이론적 분석과 실증 평가를 통해 자기 향상 메커니즘의 수렴성과 효율성을 검증하기 위해.

제안 방법

• 프레임워크는 이중 루프를 사용한다: 도메인 특화 지식 기반을 활용한 반복적 응답 개선을 위한 내부 루프와, 백테스팅을 통한 실세계 평가를 위한 외부 루프.
• 에이전트는 거래 아이디어를 바탕으로 재무 신호를 생성하며, 각 신호는 실행 세부 정보, 성능 지표, 전문가 리뷰를 포함한 지식 기반에 저장된다.
• 자기 향상은 실세계 백테스팅에서 유도된 피드백을 통해 이뤄지며, 이는 새로운 검증된 통찰을 자동으로 지식 기반에 보완한다.
• 이론적 분석은 이 과정을 마르코프 결정 과정(Markov Decision Process)으로 프레임워크하여, 특정 가정 하에 최적 행동으로 수렴함을 증명한다.
• 신호 품질은 정보 계수(IC), 샤프 비율, 엔티티 커버리지, GPT-4를 통한 쌍별 관련성 비교와 같은 지표로 평가된다.
• 유도된 지식 기반에서 파생된 신호의 예측 능력을 평가하기 위해 XGBoost 회귀를 사용한다.

Figure 1: Our proposed framework. Left: The outer feedback loop. The agent generates an answer to the problem, submit to the real environment for evaluation, and receives feedback. The feedback is updated to the knowledge base (KB) of the agent that serves further usage. Right: The pipeline of the i

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트가 반복적인 자기 개선을 통해 재무 신호 생성 능력을 자율적으로 향상시킬 수 있는가?
• RQ2 내부 루프(지식 기반 개선)와 외부 루프(실세계 백테스팅)의 통합이 신호 품질과 예측 정확도를 어떻게 향상시키는가?
• RQ3 에이전트의 지식 기반은 얼마나 광범위하게 인간 간섭 없이도 더 정확한 재무 예측을 지원하도록 진화할 수 있는가?
• RQ4 제안된 프레임워크 하에서 자기 향상 메커니즘의 이론적 수렴 행동은 어떠한가?
• RQ5 정보 계수(IC), 샤프 비율, 거래 아이디어와의 관련성 등 주요 신호 품질 지표는 시간이 지남에 따라 어떻게 변화하는가?

주요 결과

• 에이전트는 누적 알파 수가 증가할수록 예측 정확도 향상이 일관되게 관찰되며, MSE 오차가 감소함을 보였다.
• 에이전트가 생성한 신호의 정보 계수(IC)는 명백한 상승 추세를 보이며, 시간이 지남에 따라 예측 능력이 향상됨을 시사한다.
• 자기 향상 과정을 통해 신호의 샤프 비율이 뚜렷이 향상되어, 더 강력한 리스크 조정 수익을 반영한다.
• GPT-4 평가에서의 승리 빈도 행렬은 관련성 향상에 명확한 추세를 보이며, 매트릭스의 오른쪽 상단 모서리가 신호와 그 배경 거래 아이디어 간의 강한 일치를 나타낸다.
• 외부 루프는 내부 루프만으로는 더 높은 성능을 달성하는 데 기여하며, 내부-외부 루프의 병합이 가장 높은 성능을 내는 것으로 나타났다. 이는 그림 4의 오른쪽 행렬에서 감소 패턴으로 확인된다.
• 에이전트는 자율적이고 반복적인 학습을 통해 종합적이고 고품질의 신호 지식 기반을 성공적으로 구축하였으며, 이는 더 정확한 재무 예측을 가능하게 한다.

Figure 2: The analysis framework. Left: An abstract view of the inner and outer loop, where three different environments (real environment $\theta$ , simulated environment $\bar{\theta}$ and the LLM-inferred environment $\hat{\theta}$ ) are characterized. Right: The chain of proofs that links the ag