[논문 리뷰] Using NLP on news headlines to predict index trends

Marc Velay, Fabrice Daniel|arXiv (Cornell University)|2018. 06. 22.

Advanced Text Analysis Techniques참고 문헌 2인용 수 3

한 줄 요약

이 연구는 뉴스 헤드라인의 자연어 처리(NLP)가 다우존스 산업평균지수(DJIA)의 일일 추세를 예측할 수 있는지 조사한다. 감성 분석, 워드 임베딩(Word2Vec, TF-IDF, Bag-of-Words), 기계 학습 모델(LSTM, MLP, SVM)을 사용하여 저자들은 예측 성능가장 높은 정확도가 로지스틱 회귀에서 57%를 기록하여 랜덤 추측보다 약간 높을 뿐이며, 장기적인 시간 프레임에서 헤드라인 감성과 지수 움직임 간의 상관관계가 제한적임을 시사한다.

ABSTRACT

This paper attempts to provide a state of the art in trend prediction using news headlines. We present the research done on predicting DJIA trends using Natural Language Processing. We will explain the different algorithms we have used as well as the various embedding techniques attempted. We rely on statistical and deep learning models in order to extract information from the corpuses.

연구 동기 및 목표

• 뉴스 헤드라인 감성과 언어적 특징이 일일 DJIA 지수 움직임을 예측할 수 있는지 확인하는 것.
• 감성 분석, 워드 임베딩, 명명된 실체 인식 등 다양한 NLP 기법의 재무 추세 예측 효과성을 평가하는 것.
• 텍스트 데이터를 사용한 추세 예측에 있어 전통적 기계 학습 모델(SVM, 랜덤 포레스트 등)과 딥 러닝 모델(LSTM, MLP 등)의 성능을 비교하는 것.
• 감성, 주관성 및 재무 지표를 조합하면 단독으로 감성만 사용할 때보다 예측 정확도가 향상되는지 평가하는 것.

제안 방법

• 2008년부터 2015년 말까지 매 영업일 기준 상위 25개 뉴스 헤드라인으로 구성된 코퍼스를 사용하여 DJIA를 다루는 연구.
• 텍스트 전처리 과정으로 정지어 제거, 명명된 실체 인식(ner),标 punctuations 제거를 통해 입력 데이터를 정제.
• 워드 임베딩은 Word2Vec, TF-IDF, Bag-of-Words를 사용하며, N-gram 유무에 따라 특징 표현을 향상.
• 감성 및 주관성 점수는 어휘 기반 접근 방식을 통해 추출하였으며, 풍자 감지 시도도 수행.
• 로지스틱 회귀, SVM, 랜덤 포레스트, 엑스트림 그래디언트 부스팅, LSTM, MLP 등 다양한 분류기들을 인코딩된 헤드라인 특징에 대해 훈련 및 평가.
• 모델 평가에 있어서 시간적 관련성을 확보하기 위해 9개월 훈련 및 3개월 테스트 윈도우를 사용하여 데이터 유출을 방지.

실험 결과

연구 질문

• RQ1 NLP로 추출한 뉴스 헤드라인 감성이 통계적으로 유의미한 정확도로 일일 DJIA 지수 움직임을 예측할 수 있는가?
• RQ2 감성 분석과 기계 학습 모델을 조합했을 때, 다양한 워드 임베딩 기법(Word2Vec, TF-IDF, Bag-of-Words) 간의 지수 추세 예측 성능는 어떻게 비교되는가?
• RQ3 감성, 주관성 및 재무 지표를 조합하면 감성 단독 사용보다 예측 성능이 향상되는가?
• RQ4 뉴스 데이터의 시간 분포가 모델 일반화 및 장기 예측 타당성에 어느 정도 영향을 미치는가?
• RQ5 다중 모odal 학습(예: 감성 + 맥락 + 재무 데이터)이 단일 모달 접근보다 더 나은 성능을 낼 수 있는가?

주요 결과

• 가장 높은 검증 정확도는 로지스틱 회귀에서 57%를 기록하여 랜덤 추측(50%)보다 약간 높을 뿐이었다.
• LSTM 모델은 55%의 정확도를 기록하여 순전파 네트워크보다 약간 뛰어난 시간적 모델링 능력을 보였다.
• 감성, 주관성 및 재무 지표를 조합해도 성능 향상이 유의미하지 않으며, 기준 성능보다 약간 높을 뿐이었다.
• 워드 임베딩에서 Word2Vec는 벡터의 합을 사용했을 때 평균 또는 거리 기반 집계보다 성능이 뛰어났으며, 성능 향상이 4~5%p에 달했다.
• 모델의 예측 능력은 뉴스 미디어의 부정성 편향 및 변화하는 언어와 사건에 대한 장기 훈련의 시간적 비관련성 등 데이터 편향으로 인해 제한을 받는다.
• 연구는 현재 NLP 모델이 약한 상관관계와 시간에 따라 불안정해지는 특성로 인해 헤드라인에서 지수 추세를 신뢰할 수 있게 예측할 수 없다고 결론을 내린다.