[論文レビュー] A BERT based Sentiment Analysis and Key Entity Detection Approach for Online Financial Texts

Lingyun Zhao, Lin Li+1 more|arXiv (Cornell University)|Jan 14, 2020

Sentiment Analysis and Opinion Mining参考文献 31被引用数 23

ひとこと要約

本稿では、オンライン金融テキストにおけるセンチメント分析およびキーエンティティ検出のためのBERTベースのアプローチを提案する。エントリティ検出を従来のNERとは異なり、文マッチングまたはマシンリーディングコンprehエンション（MRC）タスクとして扱う。2つの金融テキストデータセットにおいて、SVM、LR、NBM、および標準BERTよりも優れた性能を達成しており、アンサンブル学習によりネガティブセンチメントおよびキーエンティティ同定の結果が向上している。

ABSTRACT

The emergence and rapid progress of the Internet have brought ever-increasing impact on financial domain. How to rapidly and accurately mine the key information from the massive negative financial texts has become one of the key issues for investors and decision makers. Aiming at the issue, we propose a sentiment analysis and key entity detection approach based on BERT, which is applied in online financial text mining and public opinion analysis in social media. By using pre-train model, we first study sentiment analysis, and then we consider key entity detection as a sentence matching or Machine Reading Comprehension (MRC) task in different granularity. Among them, we mainly focus on negative sentimental information. We detect the specific entity by using our approach, which is different from traditional Named Entity Recognition (NER). In addition, we also use ensemble learning to improve the performance of proposed approach. Experimental results show that the performance of our approach is generally higher than SVM, LR, NBM, and BERT for two financial sentiment analysis and key entity detection datasets.

研究の動機と目的

• 膨大な量のネガティブなオンライン金融テキストから、迅速かつ正確に重要な情報を抽出する課題に対処すること。
• 金融ソーシャルメディアおよびパブリックオピニオンモニタリングにおけるセンチメント分析およびキーエンティティ検出の性能を向上させること。
• キーエンティティ検出を従来の命名エンティティ認識（NER）とは異なる、文マッチングまたはマシンリーディングコンprehエンション（MRC）タスクとして定式化する、革新的なアプローチを提案すること。
• アンサンブル学習技術を活用して、金融テキストマイニングアプリケーションにおけるモデル性能を向上させること。

提案手法

• ドメイン特化のデータセット上で、事前学習済みBERTモデルを微調整して金融センチメント分析を実行する。
• キーエンティティ検出を文マッチングまたはマシンリーディングコンprehエンション（MRC）タスクとして再定式化することで、関連するエンティティをより正確に同定する。
• 複数のモデルの予測を統合するアンサンブル学習を用いて、全体の性能を向上させる。
• 金融文脈においてリスクが高く意思決定に影響を与えるため、ネガティブセンチメント検出に特に焦点を当てる。
• BERTの文脈的表現を活用して、金融言語における微妙なセンチメントおよびエンティティ関係を捉える。
• 事前学習済みBERTモデルを初期化として用い、金融テキストデータ上で微調整することで、トランスファーラーニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、特にネガティブセンチメントにおいて、オンライン金融テキストのセンチメントを効果的に検出できるか？
• RQ2 キーエンティティ検出を文マッチングまたはMRCタスクとして扱う方法が、金融テキスト分析における従来のNERと比べてどのように異なるか？
• RQ3 アンサンブル学習は、金融センチメントおよびエンティティ検出タスクにおける性能向上にどの程度寄与するか？
• RQ4 提案手法は、SVM、LR、NBMといった従来のモデルを金融テキストデータセット上で上回るか？

主な発見

• 提案手法のBERTベースのアプローチは、2つの金融センチメント分析およびキーエンティティ検出データセットにおいて、SVM、LR、NBM、および標準BERTを上回る高い性能を達成した。
• 特にリスク評価に不可欠なネガティブ金融テキストにおけるキーエンティティ検出において、優れた正確性を示した。
• エンティティ検出を文マッチングまたはMRCタスクとして再定式化することで、標準NERアプローチに比べて精度が向上した。
• アンサンブル学習は、センチメントおよびエンティティ検出パイプラインの堅牢性と性能を顕著に向上させた。
• 特にセンチメントを含むエンティティを同定する点で、ドメイン特化の金融言語に対して強い一般化性能を示した。
• 本手法は、金融市場におけるリアルタイムのパブリックオピニオン分析および意思決定支援に有効である。