[論文レビュー] Sentiment Analysis on Financial News Headlines using Training Dataset Augmentation

Vineet John, Olga Vechtomova|arXiv (Cornell University)|Jul 29, 2017

Advanced Text Analysis Techniques参考文献 6被引用数 7

ひとこと要約

この論文では、-1（売り色）から1（買い色）の連続的センチメントスコアを予測するために、unigramおよびbigram n-gramと単純な線形回帰を用いた、金融ニュース見出し向けのセンチメント分析システムUW-FinSentを提示する。TF-IDF や Doc2Vec といった高度な手法を検討したが、最も単純なアプローチが最高のパフォーマンスを示し、SemEval-2017 テストセットで0.644のコサイン類似度スコアを達成した。これは、低データ量の金融NLP環境では、基本的なベクトル化と回帰手法が複雑なモデルを上回ることを示している。

ABSTRACT

This paper discusses the approach taken by the UWaterloo team to arrive at a solution for the Fine-Grained Sentiment Analysis problem posed by Task 5 of SemEval 2017. The paper describes the document vectorization and sentiment score prediction techniques used, as well as the design and implementation decisions taken while building the system for this task. The system uses text vectorization models, such as N-gram, TF-IDF and paragraph embeddings, coupled with regression model variants to predict the sentiment scores. Amongst the methods examined, unigrams and bigrams coupled with simple linear regression obtained the best baseline accuracy. The paper also explores data augmentation methods to supplement the training dataset. This system was designed for Subtask 2 (News Statements and Headlines).

研究の動機と目的

• 限られた学習データを用いて、金融ニュース見出しの微細なセンチメント分析を実行する堅牢なシステムの開発。
• n-gram、TF-IDF、およびパaragraphベクトルといったさまざまなテキストベクトル化手法がセンチメントスコア予測に与える効果の評価。
• 外部の金融およびドメイン外センチメントデータセットを用いたデータ拡張戦略の検討を通じて、モデルの一般化性能の向上。
• XGBoost や SVR といった複雑なモデルよりも、線形回帰のような単純なモデルが金融センチメントタスクで優れているかどうかの検証。
• SemEval-2017のサブタスク2のためのベースラインシステムの確立。-1から1の連続的センチメントスコアの予測を対象とする。

提案手法

• 特徴空間の複雑さを軽減するため、組織名を汎用のプレースホルダーに置換するテキスト前処理を実施。
• scikit-learnのCountVectorizerを用いて、unigramおよびbigram n-gramによるベクトル化を実装し、局所的な語のパターンを捉える。
• 代替的なテキスト表現手法として、TF-IDF および Gensim を用いた Doc2Vec も評価した。
• 3種類の回帰モデルを訓練した：単純な線形回帰、サポートベクタ回帰（SVR）、XGBoost線形回帰。
• モデルのパフォーマンスはR²およびコサイン類似度スコアで評価され、後者は公式のSemEvalメトリクスであった。
• データ拡張として、Financial Phrasebank および大規模なIMDB風のデータセットを試みたが、パフォーマンスの向上は観察されなかった。

実験結果

リサーチクエスチョン

• RQ1 単純な線形回帰を用いたunigramおよびbigram n-gramの組み合わせが、SVR や XGBoost よりも金融センチメント分析で優れているか？
• RQ2 Financial Phrasebank や IMDB のような外部センチメントデータセットを、限られた金融学習データの拡張に効果的に使用できるか？
• RQ3 n-gram、TF-IDF、およびパラグラフベクトルといった異なるテキストベクトル化手法は、連続的センチメントスコア予測においてどのように比較されるか？
• RQ4 ハイパーパramータチューニングが、金融見出しのセンチメント予測におけるDoc2Vecのパフォーマンスに与える影響は何か？
• RQ5 この低データ環境では、なぜ線形回帰のような単純なモデルがディープラーニングやアンサンブル手法よりも優れた結果を出すのか？

主な発見

• unigramおよびbigram n-gramと単純な線形回帰の組み合わせが、試験データセットで最高のR²スコア0.38を達成した。
• 同じ設定が、SemEval-2017テストセットで最高のコサイン類似度スコア0.644を達成し、他のすべてのモデル組み合わせを上回った。
• TF-IDF および SVR は同程度のR²スコア（0.38）を示したが、コサイン類似度は0.63と低く、ゴールスコアとの相関が一貫して低かった。
• Doc2Vecモデルは性能が低く、R²スコアは-4.69、コサイン類似度は0.04にとどまり、このタスクにおける一般化性能が著しく劣っていた。
• XGBoost回帰モデルは全指標で性能が低く、R²はわずか0.21、コサイン類似度は0.50にとどまった。
• 外部金融およびドメイン外データセットを用いたデータ拡張は、交差検証精度に顕著な向上をもたらさず、効果がなかった。