[논문 리뷰] Ploutos: Towards interpretable stock movement prediction with financial large language model

Hanshuang Tong, Jun Li외 4명|arXiv (Cornell University)|2024. 02. 18.

Stock Market Forecasting Methods인용 수 6

한 줄 요약

Ploutos는 텍스트와 수치 데이터를 적응적 전문가 가중치와 융합하여 주가 움직임을 예측하고 신뢰할 수 있으며 정보가 풍부한 근거를 생성하는 다중 모달 금융 LLM 프레임워크(PloutosGen 및 PloutosGPT)를 도입한다.

ABSTRACT

Recent advancements in large language models (LLMs) have opened new pathways for many domains. However, the full potential of LLMs in financial investments remains largely untapped. There are two main challenges for typical deep learning-based methods for quantitative finance. First, they struggle to fuse textual and numerical information flexibly for stock movement prediction. Second, traditional methods lack clarity and interpretability, which impedes their application in scenarios where the justification for predictions is essential. To solve the above challenges, we propose Ploutos, a novel financial LLM framework that consists of PloutosGen and PloutosGPT. The PloutosGen contains multiple primary experts that can analyze different modal data, such as text and numbers, and provide quantitative strategies from different perspectives. Then PloutosGPT combines their insights and predictions and generates interpretable rationales. To generate accurate and faithful rationales, the training strategy of PloutosGPT leverage rearview-mirror prompting mechanism to guide GPT-4 to generate rationales, and a dynamic token weighting mechanism to finetune LLM by increasing key tokens weight. Extensive experiments show our framework outperforms the state-of-the-art methods on both prediction accuracy and interpretability.

연구 동기 및 목표

• 텍스트 데이터와 수치형 시장 데이터를 융합하여 해석 가능한 주가 움직임 예측을 촉진한다.
• 다양한 신호를 제공하기 위해 모듈형 전문가 풀(감정 분석, 기술적 지표, 인간)을 개발한다.
• 일상적인 데이터는 미세조정된 LLM을 통해 의사결정의 투명한 근거를 생성하도록 활용된다.

제안 방법

• 다양한 전문가들의 파이프라인으로 멀티모달 주가 데이터를 분석하는 PloutosGen을 제안한다.
• 과거 사례로부터 신뢰할 수 있는 근거를 추출하기 위한 rearview-mirror prompting을 갖춘 PloutosGPT를 도입한다.
• 핵심 근거 토큰을 강조하여 LLM을 미세조정하기 위해 동적 토큰 가중화를 적용한다.
• 근거의 충실도와 정보성 지표를 정의하여 근거의 품질을 평가한다.

실험 결과

연구 질문

• RQ1 RQ1: Ploutos는 현재의 LLM 기반 및 전통적 예측 모델에 비해 어떤 성능을 보이는가?
• RQ2 RQ2: Ploutos의 다양한 구성 요소가 예측 효과에 어떤 영향을 미치는가?
• RQ3 RQ3: 생성된 의사결정 근거는 충실하고 정보적인가?

주요 결과

모델	ACL18 정확도	ACL18 MCC	CIKM18 정확도	CIKM18 MCC
ARIMA	51.42	-0.021	52.36	-0.012
Adv-LSTM	57.24	0.148	56.48	0.016
StockNet	58.23	0.081	56.37	0.023
DTML	57.44	0.191	58.62	0.045
GPT-4	53.08	0.023	57.44	0.034
LLaMA-2 - 7B	52.74	0.051	56.92	0.027
FinMA - 7B	56.28	0.104	53.24	-0.031
Ploutos - 7B	61.21	0.205	59.89	0.064

• Ploutos는 ACL18 및 CIKM18 데이터세트에서 최신의 전통적 방법 및 LLM 기반 방법을 능가한다.
• 제거 실험은 각 구성 요소(감정 분석, 기술적 지표, rearview-mirror prompting, 동적 토큰 가중화)가 성능에 기여함을 보여준다.
• Ploutos는 두 데이터세트(ACL18 및 CIKM18)에서 베이스라인보다 더 높은 정확도와 MCC를 달성한다.
• Ploutos는 다른 모델과 비교해 근거의 충실도와 정보성이 우수하다.
• 최적 온도(약 0.5)인 동적 토큰 가중화는 정확도와 근거 품질을 모두 향상시킨다.
• FinMA-7B는 정보성 있는 근거를 생성하는 데 어려움을 겪으며, Ploutos의 학습 전략의 이점을 강조한다.