[논문 리뷰] InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning

Yi Yang, Yixuan Tang외 1명|arXiv (Cornell University)|2023. 09. 15.

Stock Market Forecasting Methods인용 수 24

한 줄 요약

InvestLM은 선별된 도메인 특화 지시 데이터셋으로 LLaMA-65B를 지시 학습해 구축된 금융 도메인 LLM으로, 전문가 평가에서 경쟁력이 있으며 금융 NLP 벤치마크에서 다양한 태스크 일반화가 강합니다.

ABSTRACT

We present a new financial domain large language model, InvestLM, tuned on LLaMA-65B (Touvron et al., 2023), using a carefully curated instruction dataset related to financial investment. Inspired by less-is-more-for-alignment (Zhou et al., 2023), we manually curate a small yet diverse instruction dataset, covering a wide range of financial related topics, from Chartered Financial Analyst (CFA) exam questions to SEC filings to Stackexchange quantitative finance discussions. InvestLM shows strong capabilities in understanding financial text and provides helpful responses to investment related questions. Financial experts, including hedge fund managers and research analysts, rate InvestLM's response as comparable to those of state-of-the-art commercial models (GPT-3.5, GPT-4 and Claude-2). Zero-shot evaluation on a set of financial NLP benchmarks demonstrates strong generalizability. From a research perspective, this work suggests that a high-quality domain specific LLM can be tuned using a small set of carefully curated instructions on a well-trained foundation model, which is consistent with the Superficial Alignment Hypothesis (Zhou et al., 2023). From a practical perspective, this work develops a state-of-the-art financial domain LLM with superior capability in understanding financial texts and providing helpful investment advice, potentially enhancing the work efficiency of financial professionals. We release the model parameters to the research community.

연구 동기 및 목표

• 투자 작업을 위한 접근 가능하고 고품질의 금융 도메인 LLM에 대한 필요성의 동기를 제시한다.
• 도메인 지시의 작고 신중하게 큐레이션된 세트가 어떻게 기초 모델을 효과적으로 미세 조정할 수 있는지 입증한다.
• 도메인 지시 학습이 금융 NLP 벤치마크에 대한 강한 일반화를 가져오는지 보여준다.
• InvestLM을 최신 상용 모델과 비교한 전문가 평가를 제공한다.
• 도메인 특화 지시 데이터와 일반 지시 데이터가 모델 성능에 미치는 영향에 대한 통찰을 제시한다.

제안 방법

• LoRA의 rank 16으로 LLaMA-65B를 선택된 투영 모듈에서 미세조정한다.
• Long financial texts를 위한 컨텍스트 길이를 8,192 토큰으로 확장하기 위해 Linear Rope Scaling을 사용한다.
• InvestLM-65B의 학습률 3e-4, 배치 크기 16으로 15 에포크 학습한다.
• CFA, StackExchange QFin, 학술 저널, 교과서, SEC filings, 금융 NLP 태스크 및 투자 질문으로부터 1,335 지시 데이터셋을 구성한다.
• InvestLM을 GPT-3.5, GPT-4, Claude-2 및 오픈 베이스라인과 전문가 평가 및 GPT-4 스타일 점수를 통해 비교한다.

Figure 1: Expert evaluation.

실험 결과

연구 질문

• RQ1 작고 신중하게 선별된 금융 도메인 지시 세트가 강력한 기초 모델을 고품질 금융 LLM으로 효과적으로 변화시킬 수 있는가?
• RQ2 도메인 지시 학습은 금융 NLP 태스크에서 일반 지시 데이터에 비해 성능에 어떤 영향을 미치는가?
• RQ3 InvestLM은 금융 벤치마크와 전문가 평가에서 최첨단 상용 모델에 비해 어떤 성능을 보이는가?
• RQ4 조정에 명시적으로 사용되지 않은 금융 NLP 태스크로 InvestLM의 일반화 가능성은 어떠하는가?
• RQ5 도메인 점진 학습된 LLaMA 기반 모델과 기본 LLaMA 간의 투자 시나리오에서의 행동 차이는 무엇인가?

주요 결과

• InvestLM의 전문가 평가된 응답은 테스트 질문에서 GPT-3.5 및 GPT-4와 비교해 같거나 더 나은 경우가 많다.
• InvestLM은 미세조정에 사용되지 않은 여러 금융 NLP 벤치마크에서 강한 일반화를 보인다.
• 도메인 지시 학습은 작은 모델(7B)에서 더 큰 모델(65B)보다 더 큰 이득을 준다.
• 일반 Alpaca 스타일의 지시 데이터는 도메인 태스크 성능을 해칠 수 있어 도메인 특화 데이터의 가치가 강조된다.
• InvestLM은 LLaMA 대비 환각을 줄이고 간결하고 논리적인 투자 결론을 제공한다.
• InvestLM의 결과는 특정 도메인 지시에서 높은 도메인 성능을 보인다는 점에서 Superficial Alignment 가설과 일치한다.

Figure 2: GPT-4 evaluation.