[論文レビュー] Predicting Financial Markets: Comparing Survey, News, Twitter and Search Engine Data

Huina Mao, Scott Counts+1 more|arXiv (Cornell University)|Dec 5, 2011

FinTech, Crowdfunding, Digital Finance被引用数 119

ひとこと要約

本研究では、金融市場の動向を予測するために、アンケート、ニュース、Twitter、Google検索データからの感情指標を比較している。Google検索件数とTwitterの感情（特に金融用語の1〜2日遅れのツイート件数）が、日次市場リターンおよびボラティリティの強力な予測要因であるのに対し、伝統的な投資家アンケートは、他の気分指標を制御した後では統計的に有意な予測要因でないことが判明した。

ABSTRACT

Financial market prediction on the basis of online sentiment tracking has drawn a lot of attention recently. However, most results in this emerging domain rely on a unique, particular combination of data sets and sentiment tracking tools. This makes it difficult to disambiguate measurement and instrument effects from factors that are actually involved in the apparent relation between online sentiment and market values. In this paper, we survey a range of online data sets (Twitter feeds, news headlines, and volumes of Google search queries) and sentiment tracking methods (Twitter Investor Sentiment, Negative News Sentiment and Tweet & Google Search volumes of financial terms), and compare their value for financial prediction of market indices such as the Dow Jones Industrial Average, trading volumes, and market volatility (VIX), as well as gold prices. We also compare the predictive power of traditional investor sentiment survey data, i.e. Investor Intelligence and Daily Sentiment Index, against those of the mentioned set of online sentiment indicators. Our results show that traditional surveys of Investor Intelligence are lagging indicators of the financial markets. However, weekly Google Insight Search volumes on financial search queries do have predictive value. An indicator of Twitter Investor Sentiment and the frequency of occurrence of financial terms on Twitter in the previous 1-2 days are also found to be very statistically significant predictors of daily market log return. Survey sentiment indicators are however found not to be statistically significant predictors of financial market values, once we control for all other mood indicators as well as the VIX.

研究の動機と目的

• 多様なオンライン感情指標（アンケートベース、ニュース、Twitter、検索エンジンデータ）の予測力を評価・比較すること。
• リアルタイムのオンラインデータの時代においても、伝統的な投資家感情アンケート（例：Investor Intelligence、Daily Sentiment Index）が依然として有効な予測要因であるかどうかを特定すること。
• リアルタイムのソーシャルメディアおよびウェブ検索データが、遅れのあるアンケートデータよりも優れた予測能力を有するかどうかを評価すること。
• 特に市場動向との先行・後行関係を含む、感情指標の時間的ダイナミクスを調査すること。
• 日次および週次スケールの両方において、金融予測に最も効果的な感情データソースと指標を理解するための比較フレームワークを提供すること。

提案手法

• 投資家感情アンケート（Investor Intelligence、Daily Sentiment Index）、ニュースヘッドライン（ネガティブ感情スコア）、Twitter（投資家感情および金融用語の件数）、Google検索件数（金融用語）の4つのデータソースから感情指標を収集した。
• 週次および日次感情指標を構築し、予測力の評価に向けた時間遅れ特徴量（例：Twitterデータの1〜2日遅れ）を用いた。
• ダウ・ジョーンズ工業平均（DJIA）の日次対数リターン、取引量、VIX（ボラティリティ）、金価格の予測に線形モデルを適用した。
• 感情指標と金融変数の間の予測的因果関係を評価するために、Granger因果性検定を用いた。
• 複数の気分指標およびVIXを制御した多変量モデルを用いて、各感情ソースの独自の予測貢献を隔離した。
• 特に2011年8月〜9月の高ボラティリティ期のような市場環境において、R二乗の改善度と統計的有意性検定（p値）を用いて、予測精度を評価した。

実験結果

リサーチクエスチョン

• RQ1 アンケート、ニュース、Twitter、検索エンジンデータのうち、どのオンライン感情指標がDJIA、取引量、VIX、金価格の日次および週次動向を最もよく予測するか？
• RQ2 投資家感情アンケート（例：Investor Intelligence、DSI）は、他の感情指標を制御した後でも、金融市場指標に対して統計的に有意な予測力を有するか？
• RQ3 金融用語のGoogle検索件数の予測性能は、Twitterベースの感情および件数指標と比較して、市場リターンおよびボラティリティの予測においてどのように異なるか？
• RQ4 Twitterベースの感情および件数指標（TIS、TV-FST）は、市場動向と先行・後行関係を示すか？ また、アンケートベースの感情を上回る予測性能を示すか？
• RQ5 2011年8月〜9月のような高市場ボラティリティ期において、異なる感情指標の予測能力はどのように変化するか？

主な発見

• 金融用語の週次Googleインサイト検索件数（GIS）は、DJIA終値、取引量、VIXの統計的に有意な予測要因であり、Granger因果性検定により予測的因果関係が確認された。
• Twitter投資家感情（TIS）および金融用語の1〜2日遅れのTwitter件数（TV-FST）は、他の気分指標およびVIXを制御した後でも、日次市場対数リターンの予測において極めて統計的に有意な要因である。
• 伝統的な投資家感情アンケート（Investor IntelligenceおよびDaily Sentiment Index）は、他の感情指標をモデルに含めた場合、金融市場価格の予測において統計的に有意な要因でない。
• ネガティブニュース感情（NNS）は統計的に有意な予測要因であるが、TISおよびTV-FSTほど予測力が強くはない。
• 2011年7月下旬〜8月上旬のDJIA急落の数週間前、金融用語のTwitter件数がGoogle検索件数よりも早く上昇しており、Twitterが市場シグナルの早期検出に有効である可能性を示している。
• GISを予測モデルに組み込むことで、特に2011年8月にVIXが上昇し、DJIAが下落傾向にあった高ボラティリティ期において、予測精度が向上した。