[논문 리뷰] FinMem: A Performance-Enhanced LLM Trading Agent with Layered Memory and Character Design

Yangyang Yu, Haohang Li외 7명|arXiv (Cornell University)|2023. 11. 23.

Stock Market Forecasting Methods인용 수 7

한 줄 요약

FinMem는 프로파일링, 계층적 메모리, 시장 단서에 대한 빠른 적응을 갖춘 모듈식 LLM 기반 트레이딩 에이전트를 도입하여 주식 거래 성능을 향상시키고 기억 기반 의사결정 및 시장 단서에 대한 빠른 적응을 가능하게 한다.

ABSTRACT

Recent advancements in Large Language Models (LLMs) have exhibited notable efficacy in question-answering (QA) tasks across diverse domains. Their prowess in integrating extensive web knowledge has fueled interest in developing LLM-based autonomous agents. While LLMs are efficient in decoding human instructions and deriving solutions by holistically processing historical inputs, transitioning to purpose-driven agents requires a supplementary rational architecture to process multi-source information, establish reasoning chains, and prioritize critical tasks. Addressing this, we introduce extsc{FinMem}, a novel LLM-based agent framework devised for financial decision-making. It encompasses three core modules: Profiling, to customize the agent's characteristics; Memory, with layered message processing, to aid the agent in assimilating hierarchical financial data; and Decision-making, to convert insights gained from memories into investment decisions. Notably, extsc{FinMem}'s memory module aligns closely with the cognitive structure of human traders, offering robust interpretability and real-time tuning. Its adjustable cognitive span allows for the retention of critical information beyond human perceptual limits, thereby enhancing trading outcomes. This framework enables the agent to self-evolve its professional knowledge, react agilely to new investment cues, and continuously refine trading decisions in the volatile financial environment. We first compare extsc{FinMem} with various algorithmic agents on a scalable real-world financial dataset, underscoring its leading trading performance in stocks. We then fine-tuned the agent's perceptual span and character setting to achieve a significantly enhanced trading performance. Collectively, extsc{FinMem} presents a cutting-edge LLM agent framework for automated trading, boosting cumulative investment returns.

연구 동기 및 목표

• 다양한 시시각각의 타이밍을 가진 다원 소스 재무 데이터를 처리할 수 있는 자율 에이전트의 필요성을 제시한다.
• DRL 및 기존 LLM 에이전트의 메모리 및 해석 가능성 한계를 다루기 위해 FinMem의 세 모듈 아키텍처(Profiling, Memory, Decision-making)를 제안한다.
• 계층형 메모리와 적응형 캐릭터 설정이 변동성이 큰 시장에서 거래 의사 결정과 강인성을 어떻게 향상시키는지 시연한다.
• 제한된 학습 데이터와 범용 LLM으로도 실제 데이터 세트에서 FinMem이 우수한 거래 성능을 달성한다는 것을 보여준다.

제안 방법

• 에이전트 특성 및 위험 성향을 맞춤화하기 위해 FinMem의 Profiling 모듈을 도입한다.
• 시간에 민감한 정보를 처리하기 위한 작동 기억과 계층화된 장기 기억을 갖춘 Memory 모듈을 개발한다.
• 메모리에서 파생된 통찰을 거래 행동(Buy/Sell/Hold)으로 변환하는 의사결정 모듈을 정의한다.
• 얕은, 중간, 심층 계층 전반에 걸쳐 최신성, 관련성 및 중요성을 결합한 새로운 메모리 점수 함수를 적용한다.
• 각 계층의 상위 K개의 메모리 이벤트를 사용하여 즉시와 장기적 반성을 통해 거래 의사결정을 안내한다.
• 핵심 이벤트의 우선순위를 정하기 위한 계층적 소멸 메커니즘과 접근 카운터로 메모리 업데이트 및 보유를 기반으로 확립한다.

Figure 1: The prompt template for FinMem ’s profiling module. It includes two key elements of its character setting: professional background knowledge and three distinct investment risk inclinations. In the self-adaptive risk inclination option, the omitted texts align with the detailed descriptions

실험 결과

연구 질문

• RQ1 RQ1: FinMem가 실제 데이터에서 동시대의 알고리즘 매매 에이전트보다 우월한 성능을 발휘하는가?
• RQ2 RQ2: 다른 매매 알고리즘에 도전이 되지만 FinMem이 다룰 수 있는 작업이 있는가?
• RQ3 RQ3: 어떤 LLM 백본이 FinMem에 가장 좋은 성능을 제공하는가?
• RQ4 RQ4: 다른 트레이더 위험 성향이 FinMem의 거래 성능을 의미 있게 차별화하는가?
• RQ5 RQ5: FinMem이 정보를 효과적으로 선별하고 우선순위를 매겨 거래 의사결정에 정보를 제공할 수 있는가?

주요 결과

• FinMem은 확장 가능한 실제 데이터 세트에서 대표적인 알고리즘 에이전트에 비해 최고 수준의 거래 성능을 보여준다.
• FinMem의 메모리 및 프로파일링 모듈은 시장 인사이트의 분류 및 활용을 개선하여 의사결정의 질을 향상시킨다.
• 백본 LLM, 작동 기억 용량 및 캐릭터 설정의 조정이 거래 성능에 상당한 영향을 미친다.
• 동적 위험 성향 기능은 FinMem이 시장 상황에 적응하고 하락을 완화하도록 한다.
• 절제 연구는 FinMem이 과거 거래 경험으로부터 학습하고 시장 상호작용을 통해 지식 기반을 발전시킬 수 있음을 보여준다.
• 이 프레임워크는 제한된 학습 데이터(일수에서 수개월)로도 안정적인 거래 성능을 달성하며 더 큰 데이터 세트와 전문 금융 LLM에서 여전히 가능성을 보여준다.

Figure 2: Memory module structure of FinMem with a detailed view of components, operations, and workflow. The cognitive architectures of FinMem ’s memory module have two core components – Working Memory and Layered Long-term Memory.