[論文レビュー] Listening to Chaotic Whispers: A Deep Learning Framework for News-oriented Stock Trend Prediction

Ziniu Hu, Weiqing Liu+3 more|arXiv (Cornell University)|Dec 6, 2017

Stock Market Forecasting Methods被引用数 58

ひとこと要約

ハイブリッドアテンションネットワークと自己ペース学習を導入し、混沌としたオンラインニュースから株価トレンドを予測。精度とシミュレート取引リターンを向上。

ABSTRACT

Stock trend prediction plays a critical role in seeking maximized profit from stock investment. However, precise trend prediction is very difficult since the highly volatile and non-stationary nature of stock market. Exploding information on Internet together with advancing development of natural language processing and text mining techniques have enable investors to unveil market trends and volatility from online content. Unfortunately, the quality, trustworthiness and comprehensiveness of online content related to stock market varies drastically, and a large portion consists of the low-quality news, comments, or even rumors. To address this challenge, we imitate the learning process of human beings facing such chaotic online news, driven by three principles: sequential content dependency, diverse influence, and effective and efficient learning. In this paper, to capture the first two principles, we designed a Hybrid Attention Networks to predict the stock trend based on the sequence of recent related news. Moreover, we apply the self-paced learning mechanism to imitate the third principle. Extensive experiments on real-world stock market data demonstrate the effectiveness of our approach.

研究の動機と目的

• 混沌としたオンラインニュースを用いた株価トレンド予測を動機づけ、データ品質の問題に対処する。
• 注意機構を用いてニュースの逐次文脈と多様な影響をモデル化する。
• 難しいサンプルを扱うための効果的で効率的な学習パラダイムとして自己ペース学習を取り入れる。

提案手法

• ニュースレベルの注意機構を日付内のニュースレベルの注意と日付間の時系列注意という2層の注意に持つHybrid Attention Networks (HAN) を提案する。
• ニュース埋め込み層（事前学習済みWord2Vec）を用いてニュースベクトルを作成し、次に日付コーパスベクトルを形成するニュースレベルの注意を適用する。
• 日付ベクトルの系列をエンコードするために双方向GRUを用い、時間をまたいで集約するための時系列注意層を適用する。
• 自己ペース学習（SPL）を実装し、モデルパラメータとサンプル重みを反復的に最適化することで徐々に難易度の高いサンプルを取り込む。
• 実世界の中国株とニュースデータおよび簡易取引シミュレーションを用いて評価し、HANをRF、MLP、News-RNN系、SPL付きHAN系と比較する。
• 主な式にはニュースレベルの注意 u_ti = sigmoid(W_n n_ti + b_n), alpha_ti = exp(u_ti) / sum_j exp(u_tj), d_t = sum_i alpha_ti n_ti, GRU状態方程式、および V 構築のための時系列注意 o_i と beta_i が含まれる。

実験結果

リサーチクエスチョン

• RQ1 混沌と変動品質のニュースを用いて、深層学習フレームワークは翌日株価トレンドを効果的に予測できるか。
• RQ2 逐次文脈とニュースレベルの重要性を捉える階層的注意機構は、ベースラインより予測を改善するか。
• RQ3 データにノイズの多いまたは希薄なニュース期間が含まれる場合、自己ペース学習は性能を向上させるか。

主な発見

• SPLを用いたHANは3値分類のベースラインの中で最も高い精度を達成。
• 時系列注意は最近公開されたニュースほど一般的に影響が大きいことを捉え、多様な文脈パターンを示す。
• 自己ペース学習は最終精度と収束を改善し、特に難しいサンプルで効果を発揮。
• 取引シミュレーションはHAN-SPLが様々なトップK株選択で最高の年次化リターンを示す（例：トップ40株で年次化リターン0.611）。
• ニュース注意は有益な記事と無情報的な記事を識別でき、注目度の高い例と一致している。
• このフレームワークはRF、MLP、News-RNN、Temp-ATT系の性能を大幅に上回る。