[논문 리뷰] Trading the Twitter Sentiment with Reinforcement Learning

Catherine Xiao, Wanfeng Chen|arXiv (Cornell University)|2018. 01. 07.

Stock Market Forecasting Methods참고 문헌 4인용 수 6

한 줄 요약

이 논문은 주식 거래 전략을 최적화하기 위해 트위터 감성을 신호로 사용하는 강화학습(Q-학습) 프레임워크를 제안한다. 기존의 기계학습 기반 거래 모델보다 뛰어난 성능을 보이며, 특히 테슬라처럼 성장 중심의 주식에 대해 고도로 주목받는 이벤트 기간 동안 감성이 더 강력한 예측력을 가짐을 입증한다. 또한 Q-학습은 백테스트 전략보다 시장 변화에 더 잘 적응함을 보여준다.

ABSTRACT

This paper is to explore the possibility to use alternative data and artificial intelligence techniques to trade stocks. The efficacy of the daily Twitter sentiment on predicting the stock return is examined using machine learning methods. Reinforcement learning(Q-learning) is applied to generate the optimal trading policy based on the sentiment signal. The predicting power of the sentiment signal is more significant if the stock price is driven by the expectation of the company growth and when the company has a major event that draws the public attention. The optimal trading strategy based on reinforcement learning outperforms the trading strategy based on the machine learning prediction.

연구 동기 및 목표

• 트위터 감성이 주식 수익률에 미치는 예측력을 평가하며, 특히 시장 기대와 기업 특화 이벤트와의 관계를 고려한다.
• 감성 특징을 상태 공간의 일부로 사용하여 거래 결정을 최적화하는 강화학습 기반 거래 전략을 개발한다.
• 실제 백테스팅 환경에서 Q-학습 기반 전략과 기계학습 기반 전략, 기준 모델 간의 성능을 비교한다.
• 감성 신호가 기본적인 요인보다 공적 기대에 의해 영향을 받는 주식에 더 효과적인가를 조사한다.
• 강화학습이 역사적 데이터에 과적합되지 않고 변화하는 시장 제도에 어떻게 적응할 수 있는지 탐색한다.

제안 방법

• 2015년 1월부터 2017년 6월까지 웹 스크래핑을 통해 매일 트위터 데이터를 수집하였으며, 사례 연구로 테슬라와 포드를 대상으로 하였다.
• Langdetect 및 고유 필터를 사용하여 URL, 해시태그, 사용자 언급, 이모티콘, 영어 외 콘텐츠를 제거함으로써 트윗을 전처리하였다.
• Stanford CoreNLP를 사용하여 트윗에 감성 점수를 할당하였으며, 문장 수준의 감성 점수(0–4)를 평균 내어 각 트윗의 점수를 산출하고 [0,1] 범위로 정규화하였다.
• 감성 기반 특징(예: 일일 감성 평균, 볼륨, 모멘텀)을 구성하고, 기술적 지표(예: 가격 모멘텀)와 융합하여 Q-학습의 입력 상태로 사용하였다.
• Q-학습에서 에psilon-그리디 탐색을 적용하여 학습된 정책의 활용과 새로운 행동 탐색 간 균형을 확보하였다.
• 시간 차분 갱신을 통해 상태-행동 가치 함수 Q(s,a)를 학습함으로써 누적 보상(포트폴리오 수익률)을 최대화하도록 Q-학습 에이전트를 훈련시켰다.

실험 결과

연구 질문

• RQ1 트위터 감성은 주식 수익률에 예측력을 가지며, 특히 테슬라와 같은 성장 중심 주식에 대해 포드와 같은 기본적 요인 중심 주식보다 더 강력한가?
• RQ2 감성과 기술적 지표를 사용하는 이진 가격 방향 예측 전략을 사용하는 기계학습 기반 전략과 비교해 봤을 때, Q-학습 기반 거래 전략의 성능은 어떠한가?
• RQ3 감성 특징을 포함함으로써 기술적 지표만 사용하는 기준 모델보다 거래 성능이 향상되는가?
• RQ4 Q-학습 에이전트는 훈련 중에 시장 제도 변화나 희귀 또는 이질 상태를 어떻게 다루는가?
• RQ5 기존의 백테스팅 방법에 비해 강화학습이 더 견고하고 적응력 있는 거래 정책을 생성할 수 있는가?

주요 결과

• 시장 기대와 공적 감성에 의해 영향을 받는 주식, 특히 테슬라처럼 감성에 민감한 주식에 대해 트위터 감성이 더 강력한 예측력을 가진다. 특히 트위터 트래픽이 높은 기간 동안 더욱 두드러진다.
• 일년간의 백테스팅 동안 Q-학습 기반 거래 전략은 기계학습 기반 전략과 기준 모델 모두를 앞서는 누적 수익률을 기록하였다.
• 경험을 쌓을수록 Q-학습 에이전트의 성능이 향상되었지만, 희귀 상태에서의 탐색이 제한되어 초기 성능은 불안정하였다.
• 감성과 기술적 지표를 기반으로 이진 가격 방향(+/-)을 예측하는 기계학습 전략은 기술적 지표만 사용하는 기준 모델보다 여전히 뛰어난 성능을 보였다.
• 오라클 모델(내부 정보를 가진 모델)은 6배의 수익률을 기록하였으며, 이는 Q-학습 전략이 가용한 알파의 상당 부분을 포착했음을 시사하지만, 모든 알파를 포괄하지는 않았다.
• Q-학습 모델은 시장 제도 변화에 적응 가능했으며, 기존의 백테스팅 접근 방식과 달리 과적합을 피했다.