[논문 리뷰] Financial News Analytics Using Fine-Tuned Llama 2 GPT Model

Bohdan M. Pavlyshenko|arXiv (Cornell University)|2023. 08. 24.

Stock Market Forecasting Methods인용 수 17

한 줄 요약

본 논문은 PEFT/LoRA를 사용하여 Llama 2를 멀티태스크 금융 뉴스 분석에 대해 미세 조정하고, 다운스트림 예측 용도로 구조화된 응답과 JSON 출력을 생성한다.

ABSTRACT

The paper considers the possibility to fine-tune Llama 2 GPT large language model (LLM) for the multitask analysis of financial news. For fine-tuning, the PEFT/LoRA based approach was used. In the study, the model was fine-tuned for the following tasks: analysing a text from financial market perspectives, highlighting main points of a text, summarizing a text and extracting named entities with appropriate sentiments. The obtained results show that the fine-tuned Llama 2 model can perform a multitask financial news analysis with a specified structure of response, part of response can be a structured text and another part of data can have JSON format for further processing. Extracted sentiments for named entities can be considered as predictive features in supervised machine learning models with quantitative target variables.

연구 동기 및 목표

• 오픈 소스 LLM을 활용한 멀티태스크 금융 뉴스 분석의 필요성 제시.
• 금융 뉴스 데이터셋에서 PEFT/LoRA 기반 미세 조정 시연.
• 미세 조정된 Llama 2가 다운스트림 작업을 위한 구조화된 응답과 JSON을 출력할 수 있음을 보임.
• 추출된 엔터티의 감정이 예측 특징으로 어떻게 작용하는지 탐구.

제안 방법

• Kaggle의 금융 뉴스 데이터셋에서 PEFT/LoRA를 사용해 Llama 2-7b-chat-hf를 미세 조정한다.
• 미세 조정 중 GPU 사용 최적화를 위해 4비트 또는 8비트 양자화를 사용한다.
• SFTTrainer와 지정된 훈련 인자(예: learning_rate 5e-4, 10 에포크, max_seq_length 2048)로 학습한다.
• 시장 관점에서 텍스트를 분석하고, 요점을 강조하며, 요약하고, 감정이 담긴 명명된 엔터티를 추출하도록 모델을 안내하는 프롬프트를 제공한다.
• 4비트 대 8비트 양자화 비교를 위해 학습 및 검증 세트의 손실 곡선을 평가한다.
• 다운스트림 처리를 위한 구조화된 텍스트와 JSON을 결합한 출력도 평가한다.

Figure 1: Loss curves for training ( loss ) and validation ( eval_loss ) datasets in case of 4bit model quantization.

실험 결과

연구 질문

• RQ1 미세 조정된 Llama 2 모델이 구조화된 응답으로 멀티태스크 금융 뉴스 분석을 수행할 수 있는가?
• RQ2 PEFT/LoRA로 미세 조정된 모델이 예측 특징으로 적합한 신뢰할 수 있는 명명된 엔터티 감정 데이터를 생성하는가?
• RQ3 미세 조정 중 4비트와 8비트 양자화 간 성능 차이가 있는가?
• RQ4 모델이 후속 처리를 용이하게 하기 위해 자연어와 JSON 데이터를 교차 배치한 출력을 생성할 수 있는가?

주요 결과

• 미세 조정된 Llama 2 모델은 지정된 응답 구조로 멀티태스크 금융 뉴스 분석을 수행할 수 있다.
• 명명된 엔터티에 대한 추출된 감정은 정량적 타깃이 있는 지도 학습 모델의 예측 특징으로 간주될 수 있다.
• 미세 조정 중 4비트와 8비트 양자화의 손실 곡선이 매우 유사하다.
• 이 접근법은 추가 처리용으로 구조화된 텍스트와 JSON 형식의 데이터를 혼합한 출력을 가능하게 한다.
• Kaggle의 학습 데이터셋에는 미세 조정 및 평가에 사용된 여러 금융 뉴스 소스가 포함되어 있다.
• JSON 출력에서 엔터티 명시의 부정확성은 더 정밀한 학습 데이터셋과 지시로 해결할 수 있다.

Figure 2: Loss curves for training ( loss ) and validation ( eval_loss ) datasets in case of 8bit model quantization.