[論文レビュー] FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm

Yuzhe Zhang, Hong Zhang|arXiv (Cornell University)|May 31, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、ドメイン固有のBERTを用いてFinNERを機械的読解（MRC）タスクに再定式化することで、金融固有名前抽出（FinNER）モデルであるFinBERT-MRCを提案する。適切に設計されたクエリを用いて事前知識を統合し、CRFデコードの必要性を排除することで、ChFinAnnでは92.78%、AdminPunishでは96.80%という最先端のF1スコアを達成し、従来のシーケンスタグギングベースラインより最大+3.94ポイントの向上を達成した。

ABSTRACT

Financial named entity recognition (FinNER) from literature is a challenging task in the field of financial text information extraction, which aims to extract a large amount of financial knowledge from unstructured texts. It is widely accepted to use sequence tagging frameworks to implement FinNER tasks. However, such sequence tagging models cannot fully take advantage of the semantic information in the texts. Instead, we formulate the FinNER task as a machine reading comprehension (MRC) problem and propose a new model termed FinBERT-MRC. This formulation introduces significant prior information by utilizing well-designed queries, and extracts start index and end index of target entities without decoding modules such as conditional random fields (CRF). We conduct experiments on a publicly available Chinese financial dataset ChFinAnn and a real-word bussiness dataset AdminPunish. FinBERT-MRC model achieves average F1 scores of 92.78% and 96.80% on the two datasets, respectively, with average F1 gains +3.94% and +0.89% over some sequence tagging models including BiLSTM-CRF, BERT-Tagger, and BERT-CRF. The source code is available at https://github.com/zyz0000/FinBERT-MRC.

研究の動機と目的

• 金融テキストにおける豊かな意味的・構文的情報を捉えることが難しい従来のシーケンスタグギングモデルの限界を是正すること。
• FinNERを機械的読解（MRC）タスクとして定式化することで、エンティティ認識性能が向上するかを検証すること。
• 異なるクエリ構築戦略がモデルの汎化性能および境界検出に与える影響を評価すること。
• ドメイン適応型BERT（FinBERT）とMRCの組み合わせが、リソースが限られた状況や実世界の金融テキスト環境において優れた性能を発揮することを示すこと。

提案手法

• 各エンティティタイプごとに自然言語クエリを関連付けることで、金融固有名前抽出（FinNER）を機械的読解（MRC）タスクに定式化する。
• ドメイン固有の意味表現を捉えるために、金融コーパスで事前学習されたFinBERTをバックボーンとして用いる。
• 設計されたクエリに答えることでエンティティの開始インデックスと終了インデックスを予測するスパン予測メカニズムを採用し、CRFレイヤーの必要性を排除する。
• 事前知識を統合するために、キーワードベース、ルールベースのテンプレート、Wikipediaベースのクエリの3つのクエリ構築手法を検討する。
• 入力トークンと対応するクエリを連結して、スパン予測のクロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• 訓練サンプル数を変化させることでロバストネスを評価し、データが不足する状況下でも良好な汎化性能を示すことを確認した。

実験結果

リサーチクエスチョン

• RQ1 従来のシーケンスタグギングフレームワークと比較して、FinNERを機械的読解タスクとして再定式化することで性能が向上するか？
• RQ2 キーワード、ルールベース、Wikipediaベースの3つの異なるクエリ構築戦略が、金融エンティティ認識性能に与える影響は何か？
• RQ3 ドメイン特化型事前学習（FinBERT）とMRCを組み合わせることで、金融テキストにおけるモデルの汎化性能および境界検出能力が向上するか？
• RQ4 限られた訓練データという低リソース設定下で、モデルの性能はどのようになるか？
• RQ5 クエリを通じて埋め込まれた事前知識が、F1スコアの向上および誤検出の削減に果たす寄与度は何か？

主な発見

• ChFinAnnデータセットでは、FinBERT-MRCが平均92.78%のF1スコアを達成し、BERT-Taggerベースラインより+3.94ポイントの向上を示した。
• 実世界のAdminPunishデータセットでは、FinBERT-MRCが96.80%のF1スコアを達成し、BERT-Taggerベースラインより+0.89ポイントの向上を示した。
• Wikipediaベースのクエリ構築手法（MRC-Wiki）が、すべての実験で最良の性能を示し、キーワードおよびルールベースの戦略を上回った。
• モデルは訓練データ量の削減に対してより高いロバストネスを示し、リソースが限られた状況下でも、シーケンスタグギングモデルよりも高い性能を維持した。
• 事例研究により、FinBERT-MRCが構文構造をよりよく捉え、完全なエンティティスパンを正しく同定でき、境界エラーと漏れを低減していることが確認された。
• 適切に設計されたクエリを通じた事前知識の統合が、モデル性能を顕著に向上させ、MRCパラダイムがFinNERにおいて有効であることを裏付けた。