[논문 리뷰] Temporal Data Meets LLM -- Explainable Financial Time Series Forecasting

Xinli Yu, Zheng Chen외 4명|arXiv (Cornell University)|2023. 06. 19.

Stock Market Forecasting Methods인용 수 47

한 줄 요약

본 논문은 PALR을 제시한다. PALR은 사용자 이력과 Retrieval-grounded 후보를 결합하여 개인화된 추천을 생성하기 위해 7B LLaMa 기반 모델을 미세조정하며, 두 개의 순차 추천 데이터셋에서 평가된다.

ABSTRACT

This paper presents a novel study on harnessing Large Language Models' (LLMs) outstanding knowledge and reasoning abilities for explainable financial time series forecasting. The application of machine learning models to financial time series comes with several challenges, including the difficulty in cross-sequence reasoning and inference, the hurdle of incorporating multi-modal signals from historical news, financial knowledge graphs, etc., and the issue of interpreting and explaining the model results. In this paper, we focus on NASDAQ-100 stocks, making use of publicly accessible historical stock price data, company metadata, and historical economic/financial news. We conduct experiments to illustrate the potential of LLMs in offering a unified solution to the aforementioned challenges. Our experiments include trying zero-shot/few-shot inference with GPT-4 and instruction-based fine-tuning with a public LLM model Open LLaMA. We demonstrate our approach outperforms a few baselines, including the widely applied classic ARMA-GARCH model and a gradient-boosting tree model. Through the performance comparison results and a few examples, we find LLMs can make a well-thought decision by reasoning over information from both textual news and price time series and extracting insights, leveraging cross-sequence information, and utilizing the inherent knowledge embedded within the LLM. Additionally, we show that a publicly available LLM such as Open-LLaMA, after fine-tuning, can comprehend the instruction to generate explainable forecasts and achieve reasonable performance, albeit relatively inferior in comparison to GPT-4.

연구 동기 및 목표

• 권고 개선을 위해 사용자 상호작용 이력을 대형 언어모델(LLMs)과 통합하려는 동기를 부여한다.
• 사용자 프로필 생성, 후보 검색 및 아이템 랭킹을 포함하는 다단계 PALR 프레임워크를 제안한다.
• 공개 데이터셋에서 지시 기반 미세조정(PALR_v1 및 PALR_v2)의 효과를 입증한다.
• 검색-근거 프롬프팅과 LLM 추론이 순차 추천에서 전통적 기준선보다 우수함을 보인다.

제안 방법

• 사용자 상호작용을 자연어 프롬프트로 변환하여 LLM을 통해 사용자 프로필을 생성한다.
• 사용자 프로필을 기반으로 아이템 풀에서 후보를 사전 필터링하기 위해 검색 모듈을 사용한다.
• 지시 기반 작업(Recommend 및 Recommend_Retrieval)으로 7B LLaMa 모델을 미세조정한다.
• 과거 이력으로부터 미래 아이템을 예측하도록 PALR_v1을 학습시키고, 검색 기반 목표를 도입하여 PALR_v2로 확장한다.
• 두 데이터셋(Amazon Beauty 및 MovieLens-1M)에 대해 leave-one-out 프로토콜로 HR@10 및 NDCG@10을 사용하여 평가한다.
• 프레임워크는 검색 계층에 독립적이며 SASRec, BERT4Rec, LightGCN 등의 기준선 대비 랭킹 성능이 향상된다.

실험 결과

연구 질문

• RQ1 현실적인 사용자 이력과 근거가 있는 후보 풀을 제공할 때 지시 기반으로 조정된 7B LLM이 개인화된 순차 추천을 효과적으로 수행할 수 있는가?
• RQ2 검색-근거 목표(Recommend_Retrieval)를 추가하는 것이 순수한 Recommend 설정에 비해 랭킹 품질을 크게 향상시키는가?
• RQ3 PALR은 표준 데이터셋에서 강력한 순차 기준선(SASRec, Caser, GRU4Rec)과 어떻게 비교되는가?
• RQ4 PALR 접근법은 서로 다른 데이터셋과 아이템 도메인에서 견고한가?

주요 결과

• PALR_v2가 두 데이터셋에서 모두 HR@10 및 NDCG@10에서 기준선을 크게 능가한다.
• PALR_v2가 Amazon Beauty에서 HR@10 0.0721 및 NDCG@10 0.0446를 달성하며 SASRec 및 기타 모델을 능가한다.
• PALR_v2가 MovieLens-1M에서 HR@10 0.2110 및 NDCG@10 0.1276를 달성하며 SASRec를 포함한 모든 기준선을 능가한다.
• 검색-근거 지시로 미세조정(PALR_v2)은 비검색 PALR_v1에 비해 상당한 이점을 제공한다.
• 프레임워크는 검색에 의존하지 않으며 다양한 검색 방법과 함께 작동할 수 있지만, 검색은 성능을 크게 향상시킨다.