[논문 리뷰] PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance

Qianqian Xie, Weiguang Han외 5명|arXiv (Cornell University)|2023. 06. 08.

Stock Market Forecasting Methods인용 수 43

한 줄 요약

PIXIU는 FinMA를 선보이며, LLaMA에서 미세조정된 오픈소스 금융 LLM으로, 대규모 다작, 다모달 지시 데이터셋(FIT)과 평가 벤치마크(FLARE)를 포함; FinMA는 금융 NLP 작업에서 우수하나, 복합 QA 및 주가 움직임 예측에서는 개선 여지가 있다.

ABSTRACT

Although large language models (LLMs) has shown great performance on natural language processing (NLP) in the financial domain, there are no publicly available financial tailtored LLMs, instruction tuning datasets, and evaluation benchmarks, which is critical for continually pushing forward the open-source development of financial artificial intelligence (AI). This paper introduces PIXIU, a comprehensive framework including the first financial LLM based on fine-tuning LLaMA with instruction data, the first instruction data with 136K data samples to support the fine-tuning, and an evaluation benchmark with 5 tasks and 9 datasets. We first construct the large-scale multi-task instruction data considering a variety of financial tasks, financial document types, and financial data modalities. We then propose a financial LLM called FinMA by fine-tuning LLaMA with the constructed dataset to be able to follow instructions for various financial tasks. To support the evaluation of financial LLMs, we propose a standardized benchmark that covers a set of critical financial tasks, including five financial NLP tasks and one financial prediction task. With this benchmark, we conduct a detailed analysis of FinMA and several existing LLMs, uncovering their strengths and weaknesses in handling critical financial tasks. The model, datasets, benchmark, and experimental results are open-sourced to facilitate future research in financial AI.

연구 동기 및 목표

• 개방적이고 지시를 따르는 금융 LLM과 선별된 데이터셋의 필요성을 제시한다.
• 다중 작업, 다중 모달 금융 지시를 사용해 LLaMA를 미세 조정하여 FinMA를 만든다.
• 첫 번째 대규모 금융 지시 미세조정 데이터셋(FIT)을 개발한다(136K 샘플).
• 금융 NLP 및 예측 작업을 포함하는 포괄적 벤치마크인 FLARE를 제안한다.
• 금융 AI 연구를 진전시키기 위한 공개 자원을 제공한다.

제안 방법

• 텍스트, 표, 시계열 등 다중 모달 데이터를 포함하는 NLP 및 주가 예측을 아우르는 오픈소스 금융 데이터 세트로 FIT를 구성한다.
• 작업별 도메인 특화 지시를 설계하고 지시-튜닝 샘플(Instruction, Text/Context, Response)을 구성한다.
• AdamW, 명시된 하이퍼파라미터 및 다중 에폭 스케줄을 사용하여 FIT에서 LLaMA 모델(7B 및 30B, 추가로 7B-full 변형)을 미세 조정한다.
• 6개 데이터셋에 걸친 4개의 금융 NLP 작업과 3개 데이터셋에 걸친 1개의 금융 예측 작업으로 FLARE를 만들고, 작업별 표준 평가 지표를 사용한다.
• FLARE에서 0-shot 및 few-shot 설정으로 FinMA를 BloombergGPT, GPT-4, ChatGPT, BLOOM, GPT-NeoX, OPT-66B, Vicuna-13B와 비교한다.

실험 결과

연구 질문

• RQ1 공개된 금융 지시 데이터와 모델이 금융 분야의 독점 LLM과의 격차를 좁힐 수 있는가?
• RQ2 다중 작업, 다중 모달 지시 미세조정이 FinMA의 금융 작업 성능에 어떤 영향을 미치는가?
• RQ3 금융 NLP 및 예측 작업에서 기준선과 비교했을 때 FinMA의 강점과 한계는 무엇인가?
• RQ4 모델 크기와 지시 데이터 품질이 FLARE 작업 전반의 성능에 어떤 영향을 미치는가?

주요 결과

• FinMA는 FPB, FiQA-SA, Headline NLP 작업에서 여러 LLM을 현저히 능가한다(예: FinMA-30B가 FPB에서 GPT-4를 약 10% F1만큼 상회; BloombergGPT를 약 37% F1 차이로 상회).
• FinMA는 NER 작업에서 BloombergGPT 등보다 우수한 성과를 내며 경쟁력을 보인다.
• 복합 수치 추론 작업(FinQA, ConvFinQA)에서 FinMA는 백본 모델(LLaMA)의 수치 추론 한계로 GPT-4 및 BloombergGPT보다 뒤처진다.
• 주가 움직임 예측에서 모든 LLM의 성능은 제한적이다; FinMA-7B-full은 ACL18에서 개선을 보였으나 다른 데이터셋에서는 여전히 약하며, 작업의 난이도를 강조한다.
• FinMA-full(NLP 및 예측 데이터로 학습)은 ACL18에서 가장 강한 성능을 보이고, 경쟁력 있는 NLP 결과를 보여주며, 도메인 정렬된 포괄적 작업 미세조정의 가치를 시사한다.
• 본 연구는 많은 작업에서 지시 데이터 품질과 작업 정렬이 단순히 모델 크기를 늘리는 것보다 더 중요할 수 있음을 강조한다.