[論文レビュー] Sentiment and Knowledge Based Algorithmic Trading with Deep Reinforcement Learning

Abhishek Nan, Anandh Perumal+1 more|arXiv (Cornell University)|Jan 26, 2020

Stock Market Forecasting Methods被引用数 13

ひとこと要約

本稿では、株価時系列データ、ニュース見出しのセンチメント、知識グラフから抽出された暗黙の関係性を統合することで、アルゴリズム取引を改善する深層強化学習（DRL）フレームワークを提案する。知識グラフの走査により、企業関連のニュースのセンチメントスコアを統合したDRLエージェントは、特にMSFTで2.432という高いリターンとシャープレシオを達成し、ランダムな方策やセンチメントに無関心な方策を大きく上回る。

ABSTRACT

Algorithmic trading, due to its inherent nature, is a difficult problem to tackle; there are too many variables involved in the real world which make it almost impossible to have reliable algorithms for automated stock trading. The lack of reliable labelled data that considers physical and physiological factors that dictate the ups and downs of the market, has hindered the supervised learning attempts for dependable predictions. To learn a good policy for trading, we formulate an approach using reinforcement learning which uses traditional time series stock price data and combines it with news headline sentiments, while leveraging knowledge graphs for exploiting news about implicit relationships.

研究の動機と目的

• 株式市場予測における信頼性の高いラベル付きデータの不足に対処するため、取引を強化学習問題として定式化すること。
• 知識グラフの走査を通じて、企業関連のニュースのセンチメントを統合することで、取引方策の学習を改善すること。
• 明示的な言及を超えて、ニュースイベントと株式との間の暗黙の関係を活用することで意思決定を強化すること。
• 実世界のデータを用いて、センチメントと知識グラフ統合の取引パフォーマンスへの影響を実証的に評価すること。
• 時系列データ、センチメント、関係的知識の統合が、リスク調整リターンの観点で優れた成果をもたらすことを示すこと。

提案手法

• エージェントは、株価トレンドとセンチメントスコアを組み合わせた状態表現に基づいて、最適な買い・売り・ホールド行動を学習するため、ディープQネットワーク（DQN）を用いる。
• 関心の対象となる株式を中心とした知識グラフの走査により、ニュース見出しが取得される。これにより、意味的に関連するエンティティや出来事の特定が可能になる。
• 関連する見出しに対してセンチメント分析を適用し、センチメントスコアを生成。これらのスコアはDRLエージェントの入力特徴として使用される。
• 状態空間には、過去の株価データ（例：5日平均および50日平均の始値）と、ニュースから導出されたセンチメント特徴が含まれる。
• 利益最大化を促進するとともに、過度なリスクを罰するように設計されたカスタム報酬関数が採用され、リターンはシャープレシオと累積利益を用いて評価される。
• ノイズを低減するため、距離閾値を用いて知識グラフを刈り込む。

実験結果

リサーチクエスチョン

• RQ1 ニュース見出しからのセンチメント統合は、アルゴリズム取引における深層強化学習エージェントのパフォーマンスを向上させるか？
• RQ2 知識グラフを介して暗黙の関係性を活用することで、エージェントの市場動向予測能力は向上するか？
• RQ3 センチメントと関係的知識の統合が、ベースラインのDRLモデルと比較してリスク調整リターンに与える影響は何か？
• RQ4 知識グラフを介して抽出されたニュースデータの質と関連性は、エージェントのパフォーマンスにどの程度依存しているか？
• RQ5 時系列データ、センチメント、関係的データの組み合わせで学習したDRLエージェントは、価格データのみまたはセンチメントのみを用いたモデルを上回るパフォーマンスを示せるか？

主な発見

• センチメントと知識グラフデータを統合したDRLエージェントは、マイクロソフト（MSFT）でシャープレシオ2.432を達成し、ランダム方策（-2.249）およびセンチメントに無関心な方策（-1.357）を大きく上回った。
• アマゾン（AMZN）では、センチメント強化型エージェントがシャープレシオ2.212を達成し、リスク調整リターンの観点で優れたパフォーマンスを示した。
• センチメントデータを統合したエージェントは、全テスト対象銘柄（MSFT、AMZN、TSLA）において最高の累積利益を生成し、優れた収益性を示した。
• センチメントに無関心なエージェントは、MSFTの全体的な上行トレンドのおかげで利益を上げたが、シャープレシオ-1.357という結果は、リスク調整の観点での劣悪な意思決定を示した。
• ランダム方策は全指標で最悪の成績を示し、MSFTのシャープレシオは-2.249であった。これは、学習ベースのアプローチの価値を裏付けた。
• 結果から、センチメントと関係的知識は、特にボラティリティが高く出来事駆動の市場において、価格トレンドを超えた意味のあるシグナルを提供していることが示唆された。