[논문 리뷰] Stock Market Analysis with Text Data: A Review

Kamaladdin Fataliyev, Aneesh Sreevallabh Chivukula외 2명|arXiv (Cornell University)|2021. 06. 23.

Stock Market Forecasting Methods인용 수 6

한 줄 요약

이 논문은 텍스트 기반 주식시장 분석을 종합적으로 검토하며, 데이터 소스, 특징 표현 기법, 예측 모델을 다룹니다. 주식 예측 모델의 분류 체계를 제시하고 현재 접근 방식의 한계를 강조하며, 향후 연구 방향으로 다중모달 융합, 고급 딥러닝, 금융 분야에 특화된 정서 분석을 제안하여 금융 예측의 정확도를 향상시키고자 합니다.

ABSTRACT

Stock market movements are influenced by public and private information shared through news articles, company reports, and social media discussions. Analyzing these vast sources of data can give market participants an edge to make profit. However, the majority of the studies in the literature are based on traditional approaches that come short in analyzing unstructured, vast textual data. In this study, we provide a review on the immense amount of existing literature of text-based stock market analysis. We present input data types and cover main textual data sources and variations. Feature representation techniques are then presented. Then, we cover the analysis techniques and create a taxonomy of the main stock market forecast models. Importantly, we discuss representative work in each category of the taxonomy, analyzing their respective contributions. Finally, this paper shows the findings on unaddressed open problems and gives suggestions for future work. The aim of this study is to survey the main stock market analysis models, text representation techniques for financial market prediction, shortcomings of existing techniques, and propose promising directions for future research.

연구 동기 및 목표

• 텍스트 기반 주식시장 분석 분야의 최신 기술 동향을 조사하여, 텍스트 데이터 소스와 그 시장 예측에 미치는 영향을 중심으로 분석합니다.
• 기존 방법의 한계를 특정화하며, 특히 특징 표현 및 모델 일반화 능력 측면에서의 문제점을 규명합니다.
• 다중모달 융합, 고급 딥러닝, 금융 분야에 특화된 NLP 기법 분야에서의 향후 연구 방향을 제안합니다.
• 텍스트 입력과 분석 기법을 기반으로 주식시장 예측 모델의 포괄적인 분류 체계를 제공합니다.
• 공식 기업 발표 자료의 활용 부족과 금융 분야에 맞는 정서 사전의 필요성을 다룹니다.

제안 방법

• 뉴스, 소셜 미디어, 기업 공시 등 다양한 입력 데이터 유형을 체계적으로 분류하고, 각각의 고유한 특성과 주가 움직임에 미치는 영향을 분석합니다.
• 워드 임베딩, 문장 임베딩, 이벤트 임베딩 등의 특징 표현 기법을 검토하며, 금융 어휘의 의미를 잘 포착하는 데서의 역할을 강조합니다.
• 기존 기계학습, 딥러닝, 하이브리드 아키텍처로 나누어 주식 예측 모델을 분류하고, 성능과 한계를 중심으로 분석합니다.
• 금융 분야에서의 정서 분석의 효과성을 평가하며, 일반 도메인 도구보다 금융 분야에 특화된 정서 사전의 필요성을 강조합니다.
• 수작업 특징 공학에 의존도를 줄이기 위해 텍스트 처리와 예측을 하나의 모델에 통합하는 엔드 투 엔드 딥러닝 프레임워크를 제안합니다.
• 복잡한 시장 동역학을 모델링하고 정확도를 향상시키기 위해 그래프 신경망 및 생성적 적대적 네트워크 등의 새로운 기법을 논의합니다.

실험 결과

연구 질문

• RQ1 뉴스, 소셜 미디어, 기업 공시와 같은 다양한 텍스트 데이터 소스는 주가 움직임에 어떻게 영향을 미치는가?
• RQ2 금융 텍스트에 가장 효과적인 특징 표현 기법은 무엇이며, 일반 목적의 NLP 기법과 비교해 볼 때 어떤 차이가 있는가?
• RQ3 기존 기계학습 모델이 텍스트 기반 주식 예측에서 딥러닝 모델보다 얼마나 뛰어나며, 어디서 성능이 떨어지는가?
• RQ4 텍스트, 주가 데이터, 기술적 지표를 융합한 다중모달 접근 방식은 단일모달 접근 방식에 비해 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 금융 텍스트 정서 분석 분야에서 주요 열린 문제는 무엇이며, 도메인 특화 사전은 모델 성능 향상에 어떻게 기여할 수 있는가?

주요 결과

• 기존 기계학습 모델은 여전히 텍스트 기반 주식 예측에서 주도적 위치를 차지하고 있으나, 과적합과 사전 처리에 대한 강한 의존도로 인해 문제를 노출하고 있다.
• 전이 학습과 문장 임베딩 같은 고급 표현 기법을 사용하는 딥러닝 모델은 복잡한 패턴을 더 잘 포착해 표준 모델보다 뛰어난 성능을 보인다.
• 일반 도메인 사전를 사용한 정서 분석는 금융 분야의 특수한 뉘앙스를 제대로 반영하지 못해 예측 정확도가 저하되는 경향이 있다.
• 공식적이고 높은 정보가 담긴 기업 공시 자료는 현재 연구에서 여전히 활용도가 낮다.
• 텍스트 데이터와 기술적 지표 또는 주가 데이터를 2차원 이미지 형식으로 융합한 다중모달 접근 방식은 모델 성능 향상에 유망한 전망을 보이고 있다.
• CNN, RNN, GAN 등의 다양한 학습 기법을 통합한 하이브리드 모델은 서로 다른 아키텍처의 장점을 융합해 뛰어난 성능을 발휘하고 있다.