[논문 리뷰] StockEmotions: Discover Investor Emotions for Financial Sentiment Analysis and Multivariate Time Series

Jean Lee, Hoyoul Luis Youn외 2명|arXiv (Cornell University)|2023. 01. 23.

Stock Market Forecasting MethodsDecision Sciences인용 수 3

한 줄 요약

이 논문은 주식 트윗스에서 수집한 금융 소셜 미디어 댓글 10,000건으로 구성된 새로운 데이터셋인 StockEmotions를 소개한다. 이 데이터셋은 12개의 세분화된 감정 클래스와 금융 감성 정보를 포함하여 고도화된 감성 및 감정 분석을 가능하게 한다. 하이브리드 인간-PLM 어노테이션 파이프라인을 활용하여, 시간적 주의 메커니즘을 갖춘 LSTM 모델이 가격 데이터만을 사용하는 경우보다 S&P 500의 다변량 시계열 예측 성능을 향상시킴을 입증하였다.

ABSTRACT

There has been growing interest in applying NLP techniques in the financial domain, however, resources are extremely limited. This paper introduces StockEmotions, a new dataset for detecting emotions in the stock market that consists of 10,000 English comments collected from StockTwits, a financial social media platform. Inspired by behavioral finance, it proposes 12 fine-grained emotion classes that span the roller coaster of investor emotion. Unlike existing financial sentiment datasets, StockEmotions presents granular features such as investor sentiment classes, fine-grained emotions, emojis, and time series data. To demonstrate the usability of the dataset, we perform a dataset analysis and conduct experimental downstream tasks. For financial sentiment/emotion classification tasks, DistilBERT outperforms other baselines, and for multivariate time series forecasting, a Temporal Attention LSTM model combining price index, text, and emotion features achieves the best performance than using a single feature.

연구 동기 및 목표

• 금융 분야 NLP 분야에서 대규모이고 세분화된 금융 감성 및 감정 데이터셋의 부족 문제를 해결하기 위해.
• 기존 데이터셋이 감정의 세분성, 이모티콘, 시계열 정렬을 부족하게 제공하는 문제를 해결하기 위해.
• 사전 훈련된 언어 모델과 전문가 검증을 융합한 다단계 어노테이션 파이프라인을 개발하여 감정 레이블링의 신뢰성을 높이기 위해.
• 투자자 감정이 다변량 주식 시장 시계열 예측 성능 향상에 기여하는지를 입증하기 위해.
• 금융 감성 및 감정 분류를 위한 기준 모델과 텍스트, 감정, 가격 데이터를 동시에 사용하는 공동 예측 모델을 수립하기 위해.

제안 방법

• 주식 트윗스 — 금융 소셜 미디어 플랫폼 — 로부터 영어 댓글 10,000건을 수집하여 투자자 감성 및 감정 표현을 중심으로 분석하였다.
• 행동 금융학 및 심리학 연구에 기반한 12개 감정 클래스 분류 체계를 설계하였으며, 흥분, 불안, 분노, 낙관 등 감정을 포함한다.
• 하이브리드 어노테이션 파이프라인을 활용: 먼저 사전 훈련된 언어 모델(PLM)을 사용해 감정을 예측하고, 이후 금융 전문가 및 인간 어노테이터가 검토 및 수정하였다.
• 다양한 데이터 모odal을 통합: 금융 감성( Bulls/Bears), 세분화된 감정, 이모티콘, 시계열 주가 인덱스 데이터(S&P 500 등).
• 감성 및 감정 분류를 위한 일곱 가지 기준 모델 — 로지스틱 회귀, NBSVM, GRU, Bi-GRU, DistilBERT, BERT, RoBERTa — 을 훈련 및 평가하였다.
• 시간적 주의 메커니즘을 갖춘 Temporal Attention LSTM 모델을 구축하여, 주가 인덱스, 텍스트 감성, 감정 특징을 동시에 처리하여 S&P 500 움직임을 예측하였다.

Figure 1: Example from StockEmotions dataset showing investor psychology on the stock market. A combination of input data (stock price index, text and emoji, and emotion label) is used on a Temporal Attention LSTM for multivariate time series forecasting. (blue line = the actual S&P index, orange li

실험 결과

연구 질문

• RQ1 12개 감정 클래스로 구성된 세분화된 감정 분류 체계는 이진 감성 레이블을 초월하여 금융 감성 및 감정 분류 성능을 향상시킬 수 있는가?
• RQ2 하이브리드 인간-PLM 어노테이션 파이프라인이 금융 텍스트의 신뢰성 있는 감정 레이블 생성에 얼마나 효과적인가?
• RQ3 가격 데이터와 텍스트 데이터에 감정 정보를 추가로 통합했을 때, 다변량 시계열 예측 성능 향상은 어느 정도 이루어지는가?
• RQ4 감성 및 감정 분류에 있어 DistilBERT, BERT, 또는 LSTM 중 어떤 딥 러닝 아키텍처가 가장 높은 성능을 보이는가?
• RQ5 텍스트, 감정, 가격 특징을 함께 모델링하는 것이, 수치적 또는 텍스트 입력만을 사용하는 모델보다 S&P 500 예측에서 더 뛰어난 성능을 내는가?

주요 결과

• DistilBERT는 감성 분류에서 F1 스코어 0.81, 감정 분류에서 0.42를 기록하여 다른 기준 모델들을 능가하였다.
• 가격 인덱스, 텍스트, 감정 특징을 동시에 학습하는 Temporal Attention LSTM 모델이 가격 데이터만을 사용하는 모델보다 S&P 500 예측 성능에서 가장 뛰어났다.
• 감정 분류 성능는 중간 수준이었으며, BERT 기반으로 계산한 경우 매크로 F1 스코어는 0.48(Экман 매핑)과 0.40(Плючтік 매핑)였으며, 금융 텍스트에서 감정 탐지 향상 여지가 있음을 시사하였다.
• 데이터셋은 금융 슬랭과 풍자 표현의 높은 빈도를 보였으며, 이는 모델에 혼란을 줬다. 예를 들어 'BTD'(Buy The Dip)와 'ATH'(All Time High)는 자주 잘못 분류되었다.
• 감정 레이블은 투자자 위치 편향으로 인해 감성과 일치하지 않는 경우가 많았다. 예를 들어, 주가 하락 중 장기 보유자가 분노를 표현했을 때 감성 레이블은 'bullish'로 기록되었으며, 이는 배경에 숨겨진 낙관주의를 반영했다.
• 모델 성능은 하이퍼파rameter 튜닝에 민감했으며, 특히 로지스틱 회귀 및 NBSVM과 같은 작은 모델에서는 학습률과 드롭아웃 값 조정이 결과에 크게 영향을 주었다.

Figure 2: An overview of dataset creation pipeline.