[論文レビュー] E-NER -- An Annotated Named Entity Recognition Corpus of Legal Text

Ting Wai Terence Au, Ingemar J. Cox+1 more|arXiv (Cornell University)|Dec 19, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文では、米国証券取引委員会（SEC）の会社報告書に由来する40万トークン以上の公開名前付きエンティティ認識（NER）コーパス、E-NERを紹介する。実験の結果、一般ドメインのCoNLL-2003データで事前学習されたNERモデルは、法的テキストに適用された場合、顕著な性能低下を示す——F1スコアが29.4%から60.4%まで低下する——ことから、法的NERタスクにおけるドメイン特化型学習データの必要性が浮き彫りになる。

ABSTRACT

Identifying named entities such as a person, location or organization, in documents can highlight key information to readers. Training Named Entity Recognition (NER) models requires an annotated data set, which can be a time-consuming labour-intensive task. Nevertheless, there are publicly available NER data sets for general English. Recently there has been interest in developing NER for legal text. However, prior work and experimental results reported here indicate that there is a significant degradation in performance when NER methods trained on a general English data set are applied to legal text. We describe a publicly available legal NER data set, called E-NER, based on legal company filings available from the US Securities and Exchange Commission's EDGAR data set. Training a number of different NER algorithms on the general English CoNLL-2003 corpus but testing on our test collection confirmed significant degradations in accuracy, as measured by the F1-score, of between 29.4\% and 60.4\%, compared to training and testing on the E-NER collection.

研究の動機と目的

• 米国法的ドメイン、特に法的テキスト向けに、公開可能で高品質なNERデータセットが不足しているという問題に対処すること。
• 一般ドメインNERモデルが法的文書に適用された場合の性能低下を評価すること。
• 一般ドメインと法的テキストの分布の間でモデル性能を比較することで、法的テキストのためのドメイン特化型学習データの必要性を示すこと。
• 法的NERシステムの訓練および評価のためのベンチマークデータセット（E-NER）を提供すること。
• 法的NLP分野の今後の研究を支援するために、法的テキストにおけるトランスファー学習およびドメイン適応の体系的評価を可能にすること。

提案手法

• E-NERコーパスは、52件の米国SEC EDGAR報告書から構築され、人物、組織、場所、金額、日付という5つの名前付きエンティティタイプについて手動でアノテートされたものである。
• コーパスには40万トークン以上、約9,000個の名前付きエンティティが含まれており、トレーニング／バリデーション／テストの分割割合は70％／10％／20％である。
• 4つのNERモデルが評価された：辞書ベースライン、隠れマルコフモデル（HMM）、条件付き確率場（CRF）、BERT。
• 各モデルは3つの組み合わせで訓練およびテストされた：CoNLL-2003のみ、CoNLL-2003で訓練してE-NERでテスト、E-NERのみ。
• 各モデルについて、微小F1スコアを計算し、異なるデータ分布間での性能を比較した。
• BERTのファインチューニングは、Hugging Faceのtransformersライブラリを用いてE-NERコーパス上で実施された。

実験結果

リサーチクエスチョン

• RQ1 一般ドメインNERモデルをCoNLL-2003で訓練した場合、SEC報告書の法的テキストでテストした際に、どの程度性能が低下するか？
• RQ2 HMM、CRF、BERTモデルの性能は、一般英語と法的英語の両方で訓練した場合にどのように異なるか？
• RQ3 ドメインシフトが、一般ドメインテキストと比較して法的文書における名前付きエンティティ認識に与える影響は何か？
• RQ4 CoNLL-2003のような標準的NERベンチマークと比較して、E-NERコーパスのトークン数および名前付きエンティティの多様性の点で、そのサイズと構成はどのように異なるか？
• RQ5 ドメイン特化型の事前学習またはファインチューニングは、法的テキストにおけるNER性能を顕著に向上させるか？

主な発見

• CoNLL-2003で訓練し、E-NERでテストした場合、異なるモデルでF1スコアが29.4％から60.4％まで低下し、顕著なドメインシフトが生じていることが示された。
• 辞書ベースラインおよびHMMモデルは、法的テキストにおいて一般英語よりも性能が悪く、F1スコアが13.6％まで低下した。
• CRFおよびBERTモデルは、E-NER（最大96.1％）でより高いF1スコアを達成したのに対し、CoNLL-2003（最大90.5％）ではそれほど高くはならず、ドメイン特化型データでファインチューニングされた場合、法的テキストへの一般化性能が向上していることが示唆された。
• 法的テキストの平均文長（34.5語）は、一般英語（13.7語）の2倍以上であり、法的名前付きエンティティの長さも（2.68トークン対1.45トークン）より長くなっている。
• E-NERコーパスには約9,000個の名前付きエンティティが含まれており、これはCoNLL-2003コーパスの数の約25％に過ぎない。これは語彙的および文法的複雑さの違いを反映している。
• 結果から、一般ドメインモデルが法的テキストにうまく一般化できないことから、高性能な法的NERのためにはドメイン特化型学習データが不可欠であることが確認された。