[論文レビュー] FinBERT: A Pretrained Language Model for Financial Communications

Yi Yang, Mark Christopher Siy Uy+1 more|arXiv (Cornell University)|Jun 15, 2020

Topic Modeling参考文献 11被引用数 176

ひとこと要約

FinBERT は、金融文書からの 4.9B トークンで事前学習された金融ドメインの BERT モデルで、3つの金融感情タスクで汎用の BERT を上回る。

ABSTRACT

Contextual pretrained language models, such as BERT (Devlin et al., 2019), have made significant breakthrough in various NLP tasks by training on large scale of unlabeled text re-sources.Financial sector also accumulates large amount of financial communication text.However, there is no pretrained finance specific language models available. In this work,we address the need by pretraining a financial domain specific BERT models, FinBERT, using a large scale of financial communication corpora. Experiments on three financial sentiment classification tasks confirm the advantage of FinBERT over generic domain BERT model. The code and pretrained models are available at https://github.com/yya518/FinBERT. We hope this will be useful for practitioners and researchers working on financial NLP tasks.

研究の動機と目的

• 金融文書におけるドメイン特有の感情信号のため、金融ドメインの事前学習済み言語モデルの必要性を動機づける。
• 大規模な金融コーパス上でBERTを事前学習させてFinBERTを構築する。
• 金融感情分類タスクにおいてFinBERTが汎用BERTより優れていることを示す。

提案手法

• FinVocab（金融に特化した語彙）とFinBERTのバリアント（BaseVocab/FinVocab; 大文字小文字区別あり/なし）を構築する。
• 企業報告、決算説明会のトランスクリプト、アナリストレポートなどから約4.9BトークンでFinBERTを事前学習する。
• シンプルな線形分類器と交差エントロピー損失を用いて感情タスクでFinBERTをファインチューニングする。
• 3つのデータセットでFinBERTとBERT-Base（cased/uncased）を比較する。
• 複数の分割で精度を用いて性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 FinBERTは標準データセットで汎用BERTと比較して金融感情分類を改善するか。
• RQ2 インドメイン語彙（FinVocab）と全金融コーパスでの事前学習は性能にどう影響するか。
• RQ3 金融NLPタスクにおいてuncasedモデルは一貫してcasedモデルより優れているか。
• RQ4 異なる金融コーパスを組み合わせることがFinBERTの性能にどのような影響を与えるか。

主な発見

• PhraseBank では、最高の FinBERT モデル（uncased FinVocab）は 0.872 の精度を達成し、uncased BERT より 4.4%、cased BERT より 15.4% の改善。
• FiQA では、最高の FinBERT モデル（uncased FinVocab）は 0.844、uncased BERT より 15.6%、cased BERT より 29.2% の改善。
• AnalystTone では、最高の FinBERT モデル（uncased FinVocab）は 0.887、uncased BERT より 4.3%、cased BERT より 5.5% の改善。
• 全金融コーパスで事前学習されたFinBERTモデルが最も良い成績を示し、アナリストレポートがタスク全体で強い性能に寄与する。