[論文レビュー] Financial Aspect-Based Sentiment Analysis using Deep Representations

Steve Y. Yang, Jason Rosenfeld+1 more|arXiv (Cornell University)|Aug 23, 2018

Sentiment Analysis and Opinion Mining参考文献 13被引用数 15

ひとこと要約

本稿では、FiQAデータセットという小規模な金融的要因ベースのセンチメント分析（ABSA）タスクにおいて、ドメイン適応を組み合わせたULMFiTを用いた転移学習アプローチを提案する。関連する金融文脈のデータセット（VIC）上で微調整し、要因レベル1からレベル2への階層的タスク転送を活用することで、最先端の結果に対してF1スコアで8.7%の向上とMSEが11%低減するという成果を達成した。これは、低データ環境における金融的NLPタスクの有効性を示している。

ABSTRACT

The topic of aspect-based sentiment analysis (ABSA) has been explored for a variety of industries, but it still remains much unexplored in finance. The recent release of data for an open challenge (FiQA) from the companion proceedings of WWW '18 has provided valuable finance-specific annotations. FiQA contains high quality labels, but it still lacks data quantity to apply traditional ABSA deep learning architecture. In this paper, we employ high-level semantic representations and methods of inductive transfer learning for NLP. We experiment with extensions of recently developed domain adaptation methods and target task fine-tuning that significantly improve performance on a small dataset. Our results show an 8.7% improvement in the F1 score for classification and an 11% improvement over the MSE for regression on current state-of-the-art results.

研究の動機と目的

• 金融的要因ベースのセンチメント分析（ABSA）のための、大規模かつ高品質なアノテート済みデータセットの不足に対処すること。
• 標準的なディープラーニングアーキテクチャが十分なデータを要するため、小規模なFiQAデータセットにおける性能向上を図ること。
• 低リソースな金融的NLPタスクに適した事前学習言語モデルを活用する誘導的転移学習技術の探求。
• 要因レベル1からレベル2への階層的タスク転送が、下流のABSA性能を向上させるかどうかの検証。
• 微調整戦略の変更（例：チェーン・スリーブと段階的アンフリーク）が、小規模な金融テキストデータセットにおける性能と安定性に与える影響の評価。

提案手法

• 金融テキストの分布に適応させるために、ドメイン特化の金融コーパス（VIC）上で事前学習済みのAWD-LSTM言語モデルを微調整する。
• ULMFiTのコア技術を適用：段階的アンフリーク、分離学習率、傾斜三角学習率を用い、深刻な忘却を防ぐ。
• 上位から順に層を段階的にアンフリークして微調整するチェーン・スリーブ微調整戦略を採用し、小規模データにおける安定性を向上させる。
• 段階的微調整を実施：まず長/短のポジション分類タスク（フェーズ2）で微調整し、その後主なABSAタスク（要因レベル2）で微調整する。
• 推論時に要因レベル1のラベルを一切使用しない状態で、事前学習済みの要因レベル1分類タスクからの内部モデル状態を転送し、要因レベル2の初期化を改善する。
• 未知語（OOV）の処理として、既知の語の埋め込みを平均化することで、前処理の必要を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ULMFiTのような転移学習技術が、FiQAのような小規模でドメイン特化された金融的データセットにおけるABSA性能を効果的に向上させられるか。
• RQ2 関連するがより単純なタスク（要因レベル1）を中間タスクとして用いる階層的微調整が、主なABSAタスク（要因レベル2）の性能向上に寄与するか。
• RQ3 異なる微調整戦略（例：チェーン・スリーブ対段階的アンフリーク）が、限られた訓練データにおけるモデルの安定性と性能に与える影響は。
• RQ4 関連する金融コーパス（VIC）を用いたドメイン適応が、FiQAのABSAベンチマークにおける性能を顕著に向上させられるか。
• RQ5 大規模な一般コーパスでの事前学習が、ランダム初期化からの微調整に比べて、低データ環境の金融的センチメントタスクでどれほど優れているか。

主な発見

• 提案手法は、FiQAデータセットにおける要因レベル2分類タスクで、最先端の結果と比較してF1スコアで8.7%の絶対的向上を達成した。
• センチメント回帰タスクにおいて、MSEが11%低減したが、R-squaredは向上しなかった。
• 要因レベル1を中間タスクとして用いることで、推論時にレベル1のラベルを一切使用しなくても、レベル2の性能が顕著に向上した。
• チェーン・スリーブ微調整は、100例未満の例数のような少ないデータ量でも、より安定的かつ予測可能な性能を示した。
• フェーズ1の言語モデル単体でも、ナイーブなベースラインモデルと同等またはそれ以上の性能を示した。これは、追加の微調整なしに即座に有用であることを示している。
• 本手法はデータ不足に対して頑健であり、性能曲線が低データ量でも飽和せず、さらなるデータ増加による向上の可能性を示唆している。