[논문 리뷰] Financial sentiment analysis using FinBERT with application in predicting stock movement

Tingsong Jiang, Andy Zeng|arXiv (Cornell University)|2023. 06. 03.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 논문은 주가 수익률 예측을 위해 FinBERT 기반 감성 분석 모델과 LSTM을 결합한 모델을 제안하며, 재무 뉴스에서 추출한 감성 정보가 기존 ARIMA 및 단독 LSTM 모델 대비 예측 정확도를 크게 향상시킨다는 것을 입증한다. FinBERT+LSTM 모델은 가장 낮은 손실와 최고의 성능을 기록하여 감성이 단기 시장 동향 예측의 핵심 예측 변수임을 확인한다.

ABSTRACT

In this study, we integrate sentiment analysis within a financial framework by leveraging FinBERT, a fine-tuned BERT model specialized for financial text, to construct an advanced deep learning model based on Long Short-Term Memory (LSTM) networks. Our objective is to forecast financial market trends with greater accuracy. To evaluate our model's predictive capabilities, we apply it to a comprehensive dataset of stock market news and perform a comparative analysis against standard BERT, standalone LSTM, and the traditional ARIMA models. Our findings indicate that incorporating sentiment analysis significantly enhances the model's ability to anticipate market fluctuations. Furthermore, we propose a suite of optimization techniques aimed at refining the model's performance, paving the way for more robust and reliable market prediction tools in the field of AI-driven finance.

연구 동기 및 목표

• 재무 뉴스 헤드라인에서 추출한 재무 감성 정보가 단기 주가 수익률 움직임을 효과적으로 예측할 수 있는지 조사한다.
• 감성 및 시계열 데이터를 활용하여 재무 수익률을 예측하는 데서 FinBERT, BERT, LSTM, ARIMA 모델의 성능을 비교한다.
• 일반 목적 모델(BERT) 대비 도메인 특화 미사전학습(FinBERT)이 재무 감성 분석에서 얼마나 효과적인지 평가한다.
• 현재 모델의 한계, 예를 들어 소규모 개별 주식 데이터셋으로 인한 장기 예측 부족 및 과적합 문제를 규명한다.
• 데이터 증강, 도메인 미세조정, 소셜 미디어 감성 통합 등의 향후 개선 방안을 탐색한다.

제안 방법

• 12년간의 800개 이상 미국 기업의 뉴스 기사 제목과 본문을 포함한 재무 뉴스 데이터셋을 활용해 사전 학습된 FinBERT 모델을 미세조정한다.
• 분류 헤드를 사용해 문장 수준의 감성 점수를 FinBERT에서 추출하며, 감성 점수를 회귀 또는 분류 타깃으로 간주한다.
• 감성 점수를 이중 방향 LSTM 네트워크에 입력하여 시간에 따른 감성 시퀀스의 시간적 의존성을 모델링한다.
• 일자 기반 90-10 시간적 분할을 사용해 엔드 투 엔드 모델을 훈련하며, 정규화를 위해 Close 및 Open 가격에 MinMax 정규화를 적용한다.
• 표준 회귀 평가 지표(MSE, MAE, RMSE)를 사용해 ARIMA, BERT+LSTM, 단독 LSTM 기준 모델과의 성능을 평가한다.
• 모델 일반화를 향상시키기 위해 필터링, 일자 기반 분할, 클래스 불균형 처리 등의 데이터 전처리를 적용한다.

Figure 1: A plot of MSFT closing price

실험 결과

연구 질문

• RQ1 FinBERT를 통해 추출한 재무 감성이 기존 시계열 모델 대비 주가 수익률 움직임 예측 정확도를 향상시킬 수 있는가?
• RQ2 도메인 특화 미사전학습 덕분에 FinBERT가 일반 목적 BERT보다 재무 뉴스 감성 분석에서 뛰어난 성능을 보일 수 있는가?
• RQ3 FinBERT 감성 점수와 LSTM 모델링의 조합이 단독 LSTM 또는 ARIMA 모델 대비 주가 수익률 예측에서 어떻게 성능을 내는가?
• RQ4 현재 모델이 소규모 개별 주식 데이터셋에서 장기 추세를 포착하지 못하고 과적합을 피하기 어려운 한계는 무엇인가?
• RQ5 뉴스 헤드라인의 감성 정보만으로도 시장 움직임을 예측할 수 있는 정도는 어느 정도이며, 소셜 미디어나 다중 소스 데이터 통합을 통해 어떤 개선이 가능할까?

주요 결과

• FinBERT + LSTM 모델은 ARIMA, BERT + LSTM, 단독 LSTM 모델보다 가장 낮은 훈련 및 검증 손실을 기록하여 가장 뛰어난 성능을 보였다.
• ARIMA는 장기 추세를 잘 포착했으며(MSE: 0.00975, MAE: 0.07154, RMSE: 0.09876) 하지만 단기 변동성에는 어려움을 겪었다.
• FinBERT + LSTM 모델은 단기 시장 움직임을 잘 맞추는 성능을 보여, 감성이 근접한 가격 변동을 예측하는 강력한 예측 변수임을 시사한다.
• 도메인 적응이 이루어졌음에도 불구하고, FinBERT가 감성 분류에서 BERT를 뚜렷하게 능가하지 못했으며, 이는 전체 데이터셋에 대한 추가 미세조정의 잠재력이 있음을 시사한다.
• 장기적으로 모델은 Close 가격을 지속적으로 과소 예측했으며, 이는 ARIMA 전처리와 같은 하이브리드 접근 방식의 필요성을 시사한다.
• 소규모 주식 당 데이터 제한(예: MSFT의 경우 약 1,440행)으로 인해 과적합 현상이 관찰되었으며, 이는 데이터 증강 또는 다중 주식 모델링의 필요성을 강조한다.

Figure 2: A plot of rolling mean and standard deviation for MSFT closing price