[論文レビュー] Using NLP on news headlines to predict index trends

Marc Velay, Fabrice Daniel|arXiv (Cornell University)|Jun 22, 2018

Advanced Text Analysis Techniques参考文献 2被引用数 3

ひとこと要約

本研究では、ニュースの見出しにおける自然言語処理（NLP）が、ダウ・ジョーンズ工業平均（DJIA）の日次動向を予測できるかを調査している。感情分析、ワード埋め込み（Word2Vec、TF-IDF、Bag-of-Words）、機械学習モデル（LSTM、MLP、SVM）を用いて、予測性能はランダムな当てずっぽうよりわずかに優れているにとどまり、ロジスティック回帰で最高57％の正答率を記録した。これは、長期的な時間枠において見出しの感情と指数の変動との間に弱い相関関係があることを示唆している。

ABSTRACT

This paper attempts to provide a state of the art in trend prediction using news headlines. We present the research done on predicting DJIA trends using Natural Language Processing. We will explain the different algorithms we have used as well as the various embedding techniques attempted. We rely on statistical and deep learning models in order to extract information from the corpuses.

研究の動機と目的

• ニュース見出しの感情および言語的特徴が、日次DJIA指数の変動を予測できるかどうかを明らかにすること。
• 感情分析、ワード埋め込み、名前付きエンティティ認識などのさまざまなNLP技術の、金融動向予測における有効性を評価すること。
• 従来の機械学習モデル（例：SVM、ランダムフォレスト）とディープラーニングモデル（例：LSTM、MLP）を、テキストデータを用いたトレンド予測において比較すること。
• 感情、主観性、および金融指標を組み合わせることで、予測精度が向上するかどうかを評価すること。

提案手法

• 研究は、2008年から2015年末まで、1日あたり上位25件のニュース見出しのコーパスを用いた。
• テキスト前処理には、ストップワードの除去、名前付きエンティティ認識（NER）、標点符号の除去を実施し、入力データを洗練させた。
• Word2Vec、TF-IDF、Bag-of-Wordsを用いてワード埋め込みを生成し、N-gramを用いる・使わないの両方の条件で、特徴表現を豊かにした。
• 感情スコアと主観性スコアは、語彙ベースのアプローチで抽出した。また、皮肉の検出を試みた。
• ロジスティック回帰、SVM、ランダムフォレスト、XGBoost、LSTM、MLPといった複数の分類器を、エンコードされた見出し特徴に基づいて学習・評価した。
• モデル評価には、時系列的関連性を保つために9か月の学習期間と3か月のテスト期間を用い、データ漏れを回避した。

実験結果

リサーチクエスチョン

• RQ1 ニュース見出しから抽出したNLPによる感情が、DJIA指数の日次変動を統計的に有意に高い精度で予測できるか？
• RQ2 ロジスティック回帰、SVM、ランダムフォレスト、XGBoost、LSTM、MLPといった機械学習モデルを用いた場合、Word2Vec、TF-IDF、Bag-of-Wordsといった異なるワード埋め込み手法の予測性能はどのように比較できるか？
• RQ3 感情、主観性、および金融指標を組み合わせることで、感情のみを用いた場合に比べて予測性能が向上するか？
• RQ4 ニュースデータの時系列的分布が、モデルの一般化能力および長期的な予測妥当性にどの程度影響を与えるか？
• RQ5 マルチモーダル学習（例：感情＋文脈＋金融データ）は、モノモーダル手法よりも優れた結果をもたらすか？

主な発見

• 最高の検証正答率はロジスティック回帰で57％に達し、これはランダムな当てずっぽう（50％）よりわずかに優れているにとどまった。
• LSTMモデルは55％の正答率を記録し、順方向伝播ネットワークよりもやや優れた時系列モデリングを示した。
• 感情、主観性、および金融指標を組み合わせても、性能向上は顕著ではなく、ベースラインよりわずかに良い結果にとどまった。
• Word2Vec埋め込みでは、ベクトルの和を用いることで最も優れた性能を示し、平均値や距離ベースの集約手法よりも4～5ポイントの向上を達成した。
• モデルの予測力は、ニュースメディアにおけるネガティブバイアスや、進化する言語および出来事に起因する長期的学習の時系列的非関連性といった、データバイアスの影響を強く受けていた。
• 本研究は、現在のNLPモデルでは、見出しからの弱い相関関係と時間的変動によるモデル不安定性のため、指数の動向を信頼性を持って予測することはできないと結論づけた。