[논문 리뷰] Multi-modal Attention Network for Stock Movements Prediction

Shwai He, Shi Gu|arXiv (Cornell University)|2021. 12. 27.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 논문은 사회적 미디어 감성과 역사적 주가 데이터를 신뢰도 인식 주의 메커니즘을 사용하여 융합하는 다중 모odal 주의망(MMAN)을 제안한다. 이를 통해 주가 움직임 예측 성능을 향상시킨다. 상호-내부 주의를 통해 텍스트 의미와 수치적 추세를 융합함으로써, 모델은 61.20%의 정확도와 9.13%의 가상 트레이딩 수익을 달성하여 이전 방법들을 능가한다.

ABSTRACT

Stock prices move as piece-wise trending fluctuation rather than a purely random walk. Traditionally, the prediction of future stock movements is based on the historical trading record. Nowadays, with the development of social media, many active participants in the market choose to publicize their strategies, which provides a window to glimpse over the whole market's attitude towards future movements by extracting the semantics behind social media. However, social media contains conflicting information and cannot replace historical records completely. In this work, we propose a multi-modality attention network to reduce conflicts and integrate semantic and numeric features to predict future stock movements comprehensively. Specifically, we first extract semantic information from social media and estimate their credibility based on posters' identity and public reputation. Then we incorporate the semantic from online posts and numeric features from historical records to make the trading strategy. Experimental results show that our approach outperforms previous methods by a significant margin in both prediction accuracy (61.20\%) and trading profits (9.13\%). It demonstrates that our method improves the performance of stock movements prediction and informs future research on multi-modality fusion towards stock prediction.

연구 동기 및 목표

• 사회적 미디어 텍스트와 역사적 주가 시계열 자료와 같은 이질적 데이터 소스를 융합하여 주가 움직임 예측 성능을 향상시키기.
• 사회적 미디어에서의 모순되고 신뢰할 수 없는 정보 문제를 해결하기 위해 게시자 신뢰도와 평판을 주의 메커니즘에 통합하기.
• 새로운 주의 기반 아키텍처를 통해 의미적 모odal과 수치적 모달을 효과적으로 융합함으로써 예측 성능 향상시키기.
• 최신 기술 기준 모델들과의 비교를 통해 분류 정확도와 시뮬레이션 트레이딩 성능 측면에서 본 모델의 우월성을 검증하기.

제안 방법

• 모델은 BERT 기반 인코더를 사용해 금융 포럼 게시물에서 의미 특징을 추출하고, 게시자 신원과 공개 평판을 통해 신뢰도를 추정한다.
• 상호-내부 주의 메커니즘을 적용하여 텍스트 의미와 일일 종가에서 유도된 역사적 주가 추세를 동적으로 가중 및 융합한다.
• 신뢰도 점수는 특징 융합 과정에서 신뢰할 수 있는 사회적 미디어 콘텐츠를 우선시하기 위해 주의 가중치로 사용된다.
• 융합 모듈은 양 모달에서 온 상호 보완적 신호를 포괄하는 공동 표현을 생성한다.
• 분류 헤드를 사용해 주식 방향(상승/하락)을 예측하고, 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련된다.
• 가상 트레이딩 시뮬레이션을 통해 모델 예측 기반 전략을 사용해 실제 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사회적 미디어 감성과 역사적 주가 데이터를 융합하면 단일 모달 모델을 뛰어넘어 주가 움직임 예측 정확도를 향상시킬 수 있는가?
• RQ2 사회적 미디어 게시자의 신뢰도를 주의 메커니즘에 효과적으로 통합하여 신뢰할 수 없는 콘텐츠의 노이즈를 줄일 수 있는가?
• RQ3 상호-내부 주의를 통한 다중 모달 융합은 모달 특화 또는 조기 융합 기반 모델보다 성능이 뛰어나게 되는가?
• RQ4 본 모델이 분류 정확도와 시뮬레이션 트레이딩 수익성 측면에서 최신 기술 기준 모델들을 얼마나 뛰어나게 성과를 내는가?

주요 결과

• 제안된 MMAN 모델은 61.20%의 예측 정확도를 달성하여 다음으로 뛰어난 기준 모델(CapTE, 59.87%)을 크게 앞서간다.
• 모델은 매트릭스 상관 계수(MCC)를 0.1193로 기록하여 예측과 실제 주가 움직임 사이에 강한 상관관계를 보였다.
• 가상 트레이딩 시뮬레이션에서 MMAN은 산업 전반에 걸쳐 총 수익 913.2달러를 기록했으며, CapTE의 752.2달러와 시장 기준을 초월했다.
• 모델은 소매 부문에서 가장 높은 수익률(12.4%)을 기록하여 다양한 시장 조건에서도 뛰어난 강건성을 입증했다.
• 클래스 활성화 맵을 통한 시각화 결과, 모델이 텍스트 및 주가 특징에서 서로 다른 보완적인 영역에 집중하고 있음을 확인하여 다중 모달 가설을 뒷받침했다.
• 제거 실험 결과, 신뢰도 평가나 주의 메커니즘을 제거할 경우 성능이 떨어짐을 확인하여 이들이 모델 효과성에 결정적인 역할을 한다고 확인했다.