[論文レビュー] WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain

Raj Sanjay Shah, Kunal Chawla+8 more|arXiv (Cornell University)|Oct 31, 2022

Stock Market Forecasting Methods被引用数 6

ひとこと要約

本稿では、金融用語やフレーズのマスキングとスパン境界目的を用いて多語彙表現学習を向上させる、金融分野に特化した事前学習言語モデルであるFLANGを紹介する。また、5つの金融NLPタスクをカバーする包括的なベンチマークスイートであるFLUEも提案している。FLANG-BERTおよびFLANG-ELECTRAは、感情分析、分類、質問応答などのタスクで、FinBERT や BERT よりも最先端の性能を達成している。

ABSTRACT

Pre-trained language models have shown impressive performance on a variety of tasks and domains. Previous research on financial language models usually employs a generic training scheme to train standard model architectures, without completely leveraging the richness of the financial data. We propose a novel domain specific Financial LANGuage model (FLANG) which uses financial keywords and phrases for better masking, together with span boundary objective and in-filing objective. Additionally, the evaluation benchmarks in the field have been limited. To this end, we contribute the Financial Language Understanding Evaluation (FLUE), an open-source comprehensive suite of benchmarks for the financial domain. These include new benchmarks across 5 NLP tasks in financial domain as well as common benchmarks used in the previous research. Experiments on these benchmarks suggest that our model outperforms those in prior literature on a variety of NLP tasks. Our models, code and benchmark data are publicly available on Github and Huggingface.

研究の動機と目的

• 金融用語や多語彙フレーズを活用する分野特化型の事前学習技術が、金融NLP分野で不足している現状に対処すること。
• 一般的な事前学習の限界を克服するため、事前学習段階で金融語彙とフレーズレベルのマスキングを組み込むこと。
• 複数のタスクをカバーする包括的でオープンソースのベンチマークスイート（FLUE）の開発。
• 感情分析、名前付きエンティティ認識、質問応答などの金融分野固有のNLPタスクにおける性能向上。
• 研究を促進するために、公開可能なモデルとコードを提供すること。

提案手法

• 標準的なマスク言語モデルとスパン境界目的を組み合わせてモデルを事前学習する。生成器はマスクされたスパンを予測し、識別器はトークンが本物か置き換え済みかを判定する。
• 事前学習段階で、個々の語と複数語フレーズ（例：'margin call'、'break-even analysis'）を優先的にマスキングするための金融語彙を用いる。
• 一般英語データ（Wikipedia、BooksCorpus）と分野特化型の金融コーパスを混合して学習させ、分野適合性を向上させる。
• 段階的なマスキング戦略を導入する：まず金融語彙（FV）を適用し、次にフレーズレベルのマスキング（PFV）を実施し、最後にスパン境界目的（SBO）を追加する。
• 最終的な識別器ヘッドを、FLUEベンチマークスイートを用いて微調整して、下流タスクに適応させる。
• BERTおよびELECTRAアーキテクチャに本手法を適用し、FLANG-BERTおよびFLANG-ELECTRAモデルを生成する。

実験結果

リサーチクエスチョン

• RQ1 金融用語やフレーズの優先的マスキングが、金融NLPタスクにおける事前学習言語モデルの性能向上に寄与するか？
• RQ2 事前学習段階でスパン境界目的を組み込むことで、モデルが強固な金融分野多語彙表現を学習する能力が向上するか？
• RQ3 分野特化型の事前学習戦略が、一般的な事前学習に比べて金融ベンチマークタスクで顕著に優れた性能を発揮するか？
• RQ4 FLUEベンチマークスイートが、金融言語モデルの信頼性と標準化された評価をどの程度可能にするか？
• RQ5 多様な金融NLPタスクにおいて、FLANGの性能がFinBERT や BERT などの既存モデルと比較してどうなるか？

主な発見

• FLANG-BERTは検証セットで19.53のパープレキシティを達成し、BERT-base（23.66）およびFinBERT（21.11）を下回っており、金融テキストにおける言語モデルの性能が優れていることを示している。
• すべてのコンポONENT（AD + PFV + SBO）を備えたFLANG-ELECTRAは17.34のパープレキシティを達成し、ベースのELECTRAモデル（20.10）および他のすべてのベースラインを上回っている。
• FLANG-BERTは、同じパラメータ数であるにもかかわらず、FLUEベンチマークの全タスク（金融感情分析、ニュース分類、質問応答）でFinBERTを上回っている。
• 性能向上は、感情分析や質問応答といった金融分野固有のタスクで顕著である一方、名前付きエンティティ認識のような一般タスクでは改善がやや限定的である。
• スパン境界目的とフレーズレベルマスキングが性能向上に大きく寄与しており、訓練段階ごとのパープレキシティの段階的改善（例：SBOを導入することで19.20から17.34に低下）から明らかである。
• FLANGモデルは、すべての5つのFLUEベンチマークタスクで最先端の結果を達成しており、提案された事前学習手法の有効性を示している。