[論文レビュー] Stock Market Prediction from WSJ: Text Mining via Sparse Matrix Factorization

Felix Ming Fai Wong, Zhenming Liu+1 more|arXiv (Cornell University)|Jun 27, 2014

Stock Market Forecasting Methods参考文献 18被引用数 8

ひとこと要約

本論文は、S&P500の全株価とウォールストリート・ジャーナル（WSJ）のニュース記事を、共有の低次元潜在空間内で統合的にモデル化する包括的なスパース行列因子分解モデルを提案する。このモデルにより、ニュースに言及されていない株式に対しても株価の方向性を正確に予測可能であり、55.7%の精度を達成。バックテストされたトレーディング戦略において、高いリターンとシャープレシオを実現し、ベンチマークを上回る性能を示した。

ABSTRACT

We revisit the problem of predicting directional movements of stock prices based on news articles: here our algorithm uses daily articles from The Wall Street Journal to predict the closing stock prices on the same day. We propose a unified latent space model to characterize the "co-movements" between stock prices and news articles. Unlike many existing approaches, our new model is able to simultaneously leverage the correlations: (a) among stock prices, (b) among news articles, and (c) between stock prices and news articles. Thus, our model is able to make daily predictions on more than 500 stocks (most of which are not even mentioned in any news article) while having low complexity. We carry out extensive backtesting on trading strategies based on our algorithm. The result shows that our model has substantially better accuracy rate (55.7%) compared to many widely used algorithms. The return (56%) and Sharpe ratio due to a trading strategy based on our model are also much higher than baseline indices.

研究の動機と目的

• 日次WSJニュース記事と終値のみを用いて、名前付きエンティティ認識やセンチメント分析に依存せずに株価の方向性を予測する課題に取り組むこと。
• 株価の連動動向、ニュース記事の内容、およびそれらの相関関係を統合的な潜在空間内で jointly モデル化すること。
• ニュースに明示的に言及されていない株式を含め、主要インデックスに属する500以上の株式すべてに対して正確な予測を可能にし、モデルの複雑さを低く保つこと。
• 限られた訓練データ（6年間で約1500営業日）にもかかわらず、良好な性能を発揮する、耐性がありデータ効率の良い手法を開発すること。
• 効率的市場仮説下でも、ニュースおよび株価データの潜在的構造が、利益を上げるトレーディング戦略を生み出せることを示すこと。

提案手法

• 株価とニュース記事を、スパース行列因子分解を用いて共有の低次元潜在空間に埋め込む統合的潜在要因モデルを定式化する。
• 特異値分解（SVD）を模倣した分解手法を用い、産業セクター、トピック（例：エネルギー、政治）など共通のテーマを表す潜在要因を抽出する。
• 非凸最適化問題を解くために、交替方向乗数法（ADMM）を適用し、正則化と過学習の制御を可能にする。
• 訓練日数（6年間で約1500日）に比べて次元が非常に高い状況に対応するため、因子行列にスパarsity制約を課す。
• センチメント分析や名前付きエンティティ認識などの自然言語処理（NLP）技術を避けて、テキストおよび株価データの共起パターンにのみ依存する。
• ニュース記事と株価が共有の潜在トピックに沿って連動することを仮定し、未観測の株式に対しても推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統合的潜在空間モデルは、株価の動き、ニュース記事の内容、およびそれらの相関関係を効果的に捉え、予測に活用できるか？
• RQ2 市場全体の潜在的相関関係を活用することで、ニュースに言及されていない株式の方向性をどの程度正確に予測できるか？
• RQ3 NLPを用いないスパース行列因子分解アプローチは、従来のテキストベースのモデルに比べ、株価予測の精度とトレーディングパフォーマンスで優れているか？
• RQ4 入力に古く不適切なニュース記事が含まれるなどの現実世界の制約下でも、モデルの性能は保たれるか？
• RQ5 このようなモデルは、標準インデックスよりも高いシャープレシオと累積リターンを達成する利益を上げるトレーディング戦略を生成できるか？

主な発見

• 本モデルは10万件を超えるテストケースにおいて55.7%の方向性予測精度を達成。教科書的な時系列モデル（51.5%未満）を著しく上回った。
• 本モデルは、1日あたり500以上の株式の動きを正確に予測可能であり、その日付にWSJ記事に言及されていなくても同様に予測可能であった。
• 本モデルに基づくバックテストされたトレーディング戦略は、テスト期間中に累積リターン56%を達成し、ベンチマークインデックスを上回るシャープレシオを示した。
• モデルは、2012年6月1日および2012年11月7日に、ヨーロピアンデットクライシスや財政の崖の懸念に関するニュースの潜在的信号を検出し、市場の下落を事前に予測した。
• 入力ニュースの大部分が古くても、モデルは新鮮さのフィルタリングを必要とせず、依然として利益を上げるシグナルを生成でき、耐性があることが示された。
• 2013年のパフォーマンスは2012年より高く、市場のボラティリティが低く、ベースラインモデルのパフォーマンスも良かったことと相関していた。これは、本手法が特にボラティリティが低い環境で特に効果的であることを示唆している。