[論文レビュー] Trading the Twitter Sentiment with Reinforcement Learning

Catherine Xiao, Wanfeng Chen|arXiv (Cornell University)|Jan 7, 2018

Stock Market Forecasting Methods参考文献 4被引用数 6

ひとこと要約

本論文は、Q学習（強化学習）フレームワークを提案し、Twitterのセンチメントをシグナルとして用いて最適な株式取引戦略を生成する。従来の機械学習ベースの取引モデルを上回る性能を示し、特に注目度の高い出来事において、成長志向株（例：テスラ）に対してセンチメントがより強い予測力を持つことを示している。また、バックテスト戦略と比較して、Q学習は市場の変化に適応しやすいことが判明した。

ABSTRACT

This paper is to explore the possibility to use alternative data and artificial intelligence techniques to trade stocks. The efficacy of the daily Twitter sentiment on predicting the stock return is examined using machine learning methods. Reinforcement learning(Q-learning) is applied to generate the optimal trading policy based on the sentiment signal. The predicting power of the sentiment signal is more significant if the stock price is driven by the expectation of the company growth and when the company has a major event that draws the public attention. The optimal trading strategy based on reinforcement learning outperforms the trading strategy based on the machine learning prediction.

研究の動機と目的

• Twitterのセンチメントが株式リターンに予測力を持つかどうかを評価すること。特に、市場の期待と企業固有の出来事との関連を検討すること。
• センチメント特徴量を状態空間の一部として用いる強化学習ベースの取引戦略を開発すること。
• Q学習ベースの戦略と機械学習ベースの戦略、およびベースラインモデルの実世界のバックテストにおけるパフォーマンスを比較すること。
• センチメントシグナルが、基本的要因ではなく、一般の期待に支えられる株式に対してより効果的であるかどうかを調査すること。
• 強化学習が、過去のデータに過剰適合しないように、変化する市場環境にどう適応できるかを検討すること。

提案手法

• 2015年1月から2017年6月までの期間、ウェブスクレイピングを用いて毎日分のTwitterデータを収集し、ケーススタディとしてテスラとフォードを対象とした。
• Langdetectおよびカスタムフィルタを用いて、URL、ハッシュタグ、ユーザー名、絵文字、英語以外のコンテンツを除去することで、ツイートを前処理した。
• Stanford CoreNLPを用いてツイートにセンチメントスコアを割り当て、文単位のセンチメントスコア（0〜4）を平均化し、[0,1]に正規化した。
• センチメントに基づく特徴量（例：日次センチメント平均、投稿件数、モメンタム）を構築し、価格モメンタムなどのテクニカルインジケーターと組み合わせ、Q学習の入力状態とした。
• Epsilon-greedy探索を適用し、学習済み方策の活用と新たな行動の探索のバランスを取った。
• 時系列差分更新を通じて、状態行動価値関数 Q(s,a) を学習することで、累積報酬（ポートフォリオリターン）を最大化するようにQ学習エージェントを訓練した。

実験結果

リサーチクエスチョン

• RQ1 Twitterのセンチメントは株式リターンに予測力を持つのか？また、テスラのような成長志向株に対して、フォードのような基本的要因志向株よりもその予測力は強いのか？
• RQ2 センチメントとテクニカルインジケーターを用いて価格の方向性（+/-）を二値予測する機械学習ベースの戦略と比較して、Q学習ベースの取引戦略のパフォーマンスはどうなるか？
• RQ3 センチメント特徴量を含めることで、テクニカルインジケーターのみを用いるベースラインモデルよりも取引パフォーマンスが向上するのか？
• RQ4 Q学習エージェントは、トレーニング中に市場のレジームシフトやレア・ステート（異常状態）に対処できるのか？
• RQ5 従来のバックテスト手法と比較して、強化学習はより頑健で適応性のある取引ポリシーを生成できるのか？

主な発見

• 市場の期待や一般の世論に支えられる株式（例：テスラ）に対して、Twitterのセンチメントはより強い予測力を持つ。特に、Twitterの投稿量が多い時期に顕著である。
• 1年間のバックテストにおいて、Q学習ベースの取引戦略は、機械学習ベースの戦略およびベースラインモデルを上回る累積リターンを達成した。
• 経験を積むにつれてQ学習エージェントのパフォーマンスが向上したが、初期段階では希少状態での探索が不足していたため、不安定なパフォーマンスを示した。
• センチメントとテクニカルインジケーターを用いて価格方向性を二値予測する機械学習戦略は、テクニカルインジケーターのみのベースラインモデルを上回った。
• オラクルモデル（内部情報を持つ）は6倍のリターンを達成しており、Q学習戦略が利用可能なアルファの大部分を捉えていたが、すべてではないことが示された。
• Q学習モデルは市場レジームシフトに適応可能であり、従来のバックテスト手法とは異なり過剰適合を回避した。