[논문 리뷰] Improving Decision Analytics with Deep Learning: The Case of Financial Disclosures

Stefan Feuerriegel, Ralph Fehrer|arXiv (Cornell University)|2015. 08. 09.

Stock Market Forecasting Methods참고 문헌 24인용 수 23

한 줄 요약

이 논문은 재무 공시에서 주가 변동 예측을 향상시키기 위해 딥러닝, 특히 순환 오토인코더를 사용하는 것을 제안한다. 계층적인 텍스트 표현을 자동으로 학습함으로써, 이 모델은 전통적인 기계학습 기준보다 5.66% 높은 정확도를 달성하여 딥러닝이 금융 텍스트의 비선형 패턴을 포착하는 데서 의사결정 분석에서 우월함을 입증한다.

ABSTRACT

Decision analytics commonly focuses on the text mining of financial news sources in order to provide managerial decision support and to predict stock market movements. Existing predictive frameworks almost exclusively apply traditional machine learning methods, whereas recent research indicates that traditional machine learning methods are not sufficiently capable of extracting suitable features and capturing the non-linear nature of complex tasks. As a remedy, novel deep learning models aim to overcome this issue by extending traditional neural network models with additional hidden layers. Indeed, deep learning has been shown to outperform traditional methods in terms of predictive performance. In this paper, we adapt the novel deep learning technique to financial decision support. In this instance, we aim to predict the direction of stock movements following financial disclosures. As a result, we show how deep learning can outperform the accuracy of random forests as a benchmark for machine learning by 5.66%.

연구 동기 및 목표

• 재무 공시 이후 주가 방향 예측에서 딥러닝이 전통적인 기계학습 방법을 능가할 수 있는지 평가하는 것.
• 수작업 특징 공학 없이 원시 금융 텍스트에서 종단간 특징 학습을 위한 순환 오토인코더의 잠재력을 탐구하는 것.
• 전통적 분류기와 비교하여 딥러닝 모델의 계산 효율성과 예측 성능을 평가하는 것.
• 딥러닝이 고영향력 금융 텍스트 마이닝 과제에서 예측 정확도를 향상시킬 수 있음을 실증적으로 제시하는 것.
• 자동 거래 및 기업 커뮤니케이션 전략에 있어서 예측 정확도 향상의 관리적 함의를 탐색하는 것.

제안 방법

• 본 연구는 문장을 및 구문을 순차적으로 인코딩함으로써 계층적인 벡터 표현을 학습하는 딥러닝 아키텍처인 순환 오토인코더를 사용한다.
• 모델은 텍스트를 하위 구조로 분해하고, 역전파 및 경사 하강법을 통해 분산 표현을 학습한다.
• 임bedding 크기(40)와 반복 횟수(70)와 같은 하이퍼파rameter는 테스트 세트 성능을 최적화하기 위해 조정되었다.
• 원시 텍스트 입력에서 직접 의미 있는 표현을 학습함으로써 수작업 특징 공학을 피한다.
• 표준 평가 지표인 정확도, 정밀도, 재현율, F1-스코어를 사용하여 보류된 테스트 세트에서 모델 성능을 평가하였다.
• 일관된 훈련 및 테스트 프로토콜을 적용하여 랜덤 포레스트와 같은 전통적 분류기와의 비교 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 재무 공시 이후 주가 방향 예측에서 전통적 기계학습 방법을 능가할 수 있는가?
• RQ2 순환 오토인코더는 금융 텍스트 분석에서 수작업 특징 공학의 필요성을 어느 정도 줄일 수 있는가?
• RQ3 금융 의사결정 지원 맥락에서 딥러닝의 예측 정확도는 전통적 벤치마크와 비교해 어떻게 나타나는가?
• RQ4 이 도메인에서 전통적 분류기와 비교해 딥러닝 모델의 계산 비용과 확장성은 어떠한가?
• RQ5 투자자 심리 분석 및 기업 공시 전략에 있어서 예측 정확도 향상의 관리적 함의는 무엇인가?

주요 결과

• 순환 오토인코더는 테스트 세트 정확도 0.56을 달성하여 벤치마크 랜덤 포레스트 모델(정확도 0.53) 대비 5.66% 상대적 향상을 보였다.
• F1-스코어는 벤치마크의 0.52에서 딥러닝 모델의 0.56으로 상승하여 7.69% 상대적 향상이 이루어졌다.
• 모델은 재현율이 9.80% 상승하여 긍정적 주가 변동 신호를 더 잘 탐지함을 보여주었으며, 이는 우수한 성능을 의미한다.
• 순환 오토인코더는 랜덤 포레스트(~200분) 대비 약 23분으로 훨씬 적은 계산 시간을 소요하여 효율성이 뛰어나다는 것을 보였다.
• 딥러닝 모델은 원시 텍스트에서 계층적 표현을 자동으로 학습함으로써 수작업 특징 공학의 필요성을 제거하였다.
• 결과적으로 딥러닝이 금융 텍스트의 비선형 패턴을 효과적으로 포착할 수 있으며, 정확도와 F1-스코어 모두에서 고전적 모델을 능가함을 확인하였다.