[논문 리뷰] Stock Movement Prediction with Financial News using Contextualized Embedding from BERT

Qinkai Chen|arXiv (Cornell University)|2021. 07. 19.

Stock Market Forecasting Methods참고 문헌 55인용 수 14

한 줄 요약

이 논문은 블룸버그 뉴스 데이터를 사용하여 주식 가격 변동을 예측하기 위해 재무 뉴스에 특화된 문맥 기반 임베딩을 생성하기 위해 재조정된 BERT를 활용하는 미세조정된 문맥 기반 임베딩 순환 신경망(FT-CE-RNN)을 제안한다. 이 모델은 정확도와 시뮬레이션 거래 전략 모두에서 기준 모델을 크게 능가하는 최첨단 성능을 달성한다.

ABSTRACT

News events can greatly influence equity markets. In this paper, we are interested in predicting the short-term movement of stock prices after financial news events using only the headlines of the news. To achieve this goal, we introduce a new text mining method called Fine-Tuned Contextualized-Embedding Recurrent Neural Network (FT-CE-RNN). Compared with previous approaches which use static vector representations of the news (static embedding), our model uses contextualized vector representations of the headlines (contextualized embeddings) generated from Bidirectional Encoder Representations from Transformers (BERT). Our model obtains the state-of-the-art result on this stock movement prediction task. It shows significant improvement compared with other baseline models, in both accuracy and trading simulations. Through various trading simulations based on millions of headlines from Bloomberg News, we demonstrate the ability of this model in real scenarios.

연구 동기 및 목표

• 정적 단어 임베딩을 문맥 기반 표현으로 대체하여 재무 뉴스 헤드라인에서 주가 변동 예측을 향상시키기 위해.
• 재무 뉴스 데이터에 대해 BERT를 미세조정하여 도메인 특화 지식을 통합함으로써 모델 성능을 향상시키기 위해.
• 시장 영향을 미치는 뉴스에 초점을 맞춘 평가 지표를 개발하여 실제 투자자 의사결정 과정을 반영하기 위해.
• 문맥 기반 임베딩이 정적 임베딩보다 방향성 주가 변동 예측에 더 우수한 성능을 보이는지 확인하기 위해.
• 실제 뉴스 데이터 기반의 광범위한 거래 시뮬레이션을 통해 모델의 예측 능력을 검증하기 위해.

제안 방법

• 대규모 재무 뉴스 헤드라인 코퍼스에 대해 BERT 언어 모델을 미세조정하여 그 문맥 기반 임베딩을 재무 도메인에 적합시키기 위해.
• 최종 레이어에서 추출한 문맥 기반 임베딩을 사용하여 의미적 의미와 문맥 기반 단어 표현을 모두 인코딩하기 위해.
• 헤드라인의 순차적 의존성을 모델링하기 위해 문맥 기반 임베딩을 이중 방향 LSTM 네트워크에 입력하기 위해.
• 양성 또는 부정적 주가 변동 신호로 분류하기 위해 이진 교차 엔트로피 손실 함수를 사용하여 FT-CE-RNN 모델을 엔드 투 엔드로 훈련하기 위해.
• 실제 거래 성과를 더 잘 반영하기 위해 상위 성능 뉴스(예: 상위 1%, 5%)에 집중하는 새로운 평가 프로토콜을 사용하기 위해.
• 다양한 BERT 레이어와 분류 체계(2클래스 대비 3클래스) 간의 성능를 비교하기 위해 분석 실험을 수행하기 위해.

실험 결과

연구 질문

• RQ1 재조정된 BERT에서 유도된 문맥 기반 임베딩을 사용할 경우, 정적 임베딩 대비 주가 변동 예측 정확도가 향상되는가?
• RQ2 재무 뉴스에 대해 BERT를 미세조정하면 모델이 시장 영향을 미치는 뉴스를 탐지하는 능력이 향상되는가?
• RQ3 정확도와 시뮬레이션된 거래 수익 모두에서 FT-CE-RNN 모델의 성능이 기준 모델보다 뛰어나게 되는가?
• RQ4 2클래스 분류(양성/부정)가 3클래스 분류(양성/중립/부정)보다 주가 변동 예측에 더 뛰어나게 성능을 발휘하는가?
• RQ5 어느 BERT 레이어가 주가 예측 작업에 가장 효과적인 문맥 기반 임베딩을 제공하는가?

주요 결과

• FT-CE-RNN 모델은 시장 영향을 미치는 뉴스 상위 1%에서 테스트 정확도 74.5%를 기록하여 기준 모델을 크게 능가한다.
• 모델은 시뮬레이션된 거래 환경에서 뛰어난 성능을 보이며 강력한 실제 세계 예측 능력을 나타낸다.
• 재무 뉴스에 대해 BERT를 미세조정하면 도메인 특화된 세부 사항을 반영하는 더 나은 문맥 기반 임베딩을 얻을 수 있으며, 이는 정확도 향상에 기여한다.
• BERT의 최종 레이어(L)에서의 임베딩 사용이 가장 우수한 성능을 보였으며, 낮은 레이어(L-1, L-2 등)는 충분한 문맥 정보가 부족하여 성능이 떨어졌다.
• 3클래스 분류 모델은 2클래스 모델보다 성능이 열등한데, 중립 뉴스와 시장 영향을 미치는 뉴스 간의 구분이 모호하고 학습하기 어려운 편이기 때문이다.
• 정성적 분석 결과, 모델이 의미 있는 패턴을 학습하고 있음을 확인할 수 있었으며, 예를 들어 'buy'(매수)와 'raise'(목표주가 상향)와 같은 빈번한 긍정어, 그리고 'downgrade'(투자의견 하향)와 'miss'(예측 미달성) 등의 부정어를 효과적으로 인식하고 있었다.