[論文レビュー] LegalRelectra: Mixed-domain Language Modeling for Long-range Legal Text Comprehension

Wenyue Hua, Yuchen Zhang+3 more|arXiv (Cornell University)|Dec 16, 2022

Artificial Intelligence in Law被引用数 5

ひとこと要約

LegalRelectra は、法的および医療ドメインのコーパスを用いて Reformer をベースとする Electra フレームワークで訓練された混合ドメイン言語モデルであり、人的損傷事案における長距離テキスト理解を可能にする。特に 8,092 ツークンまでの長文において、改善されたアーキテクチャとドメイン特化トークナイザーのおかげで、一般モデルおよび単一ドメインモデルを上回る名前付きエンティティ認識（NER）性能を発揮する。

ABSTRACT

The application of Natural Language Processing (NLP) to specialized domains, such as the law, has recently received a surge of interest. As many legal services rely on processing and analyzing large collections of documents, automating such tasks with NLP tools emerges as a key challenge. Many popular language models, such as BERT or RoBERTa, are general-purpose models, which have limitations on processing specialized legal terminology and syntax. In addition, legal documents may contain specialized vocabulary from other domains, such as medical terminology in personal injury text. Here, we propose LegalRelectra, a legal-domain language model that is trained on mixed-domain legal and medical corpora. We show that our model improves over general-domain and single-domain medical and legal language models when processing mixed-domain (personal injury) text. Our training architecture implements the Electra framework, but utilizes Reformer instead of BERT for its generator and discriminator. We show that this improves the model's performance on processing long passages and results in better long-range text comprehension.

研究の動機と目的

• 標準の BERT ベースモデルの 512 ツークン制限を超える長距離法的テキスト理解の課題に対処すること。
• 法的および臨床用語を含む、法的および医療的用語が混在する個人的損傷事案のような混合ドメインの法的・医療的テキスト処理を改善すること。
• 長期間の文脈処理を可能にするために、Electra フレームワーク内の BERT コンponent を Reformer ベースの生成器および識別器に置き換えることでモデル性能を向上させること。
• ドメイン特化トークナイザーと標準 BERT トークナイザーの性能差を、法的および医療的 NER における影響として評価すること。
• 長文法的文書における原告、被告、医学的状態、事案タイプなどの名前付きエンティティ認識タスクにおいて、優れた性能を示すことを実証すること。

提案手法

• BERT の生成器および識別器を Reformer ベースのコンponent に置き換えた Electra フレームワークを採用し、最大 8,092 ツークンまでの長文処理を可能にする。
• 法的、医療的、および人的損傷関連テキストから構成される混合コーパスを用いて、両ドメインの固有用語を捉えるために事前学習を実施。
• 法的および医療的用語に特化したカスタムドメイン特化トークナイザーを訓練し、標準 BERT トークナイザーに比べて複雑な用語の認識を向上。
• Electra の設定における識別器を活用し、トークンをマスクして再構築することで予測を精緻化し、表現学習を強化。
• 法的および医療的エンティティの部分自動アノテーションパイプラインを用いて、名前付きエンティティ認識（NER）タスクに微調整。
• 法的および医療的エンティティ認識における F1 スコアを、一般モデルおよび専門モデル（例：BERT、Clinical-BERT、Legal-BERT）と比較して性能を評価。

実験結果

リサーチクエスチョン

• RQ1 Reformer ベースの Electra アーキテクチャは、BERT の 512 ツークン制限を超える長距離法的テキスト理解を著しく改善できるか？
• RQ2 法的および医療的コーパスを混合して事前学習することで、単一ドメインモデルに比べて法的および医療的名前付きエンティティ認識の性能が向上するか？
• RQ3 ドメイン特化トークナイザーは、標準 BERT トークナイザーに比べて、法的および医療的用語認識の正確性において優れているか？
• RQ4 Electra 学習フレームワークは、標準的な微調整アプローチに比べて、長文法的テキストにおける性能向上にどの程度寄与するか？
• RQ5 1 つのモデルが、法的および医療的ドメインにまたがる人的損傷事案の文法的および語彙的複雑さを効果的に処理できるか？

主な発見

• LegalRelectra は、原告や被告などの法的エンティティの NER において、BERT や Legal-BERT を上回り、文脈が重要な長文において顕著な性能向上を示した。
• すべてのベースラインと比較して、法的エンティティ認識における F1 スコアが優れており、Reformer ベースのアーキテクチャのおかげで長距離理解能力が向上したことを示した。
• Medical 用語認識においても、Clinical-BERT に次いで高い性能を示し、混合ドメイン事前学習による有効な学習を示した。
• ドメイン特化トークナイザーの使用により、標準 BERT トークナイザーに比べて医療用語認識性能が向上したが、後者は複雑な医療用語の認識に悪影響を及えた。
• Reformer ベースの学習により、再現率（recall）が精度（precision）を上回ったが、全体の F1 スコアはベースラインモデルを上回り、この文脈における Electra フレームワークの有効性を確認した。
• 長文の冒頭に位置する情報であっても、事案タイプや怪我の種類といった重要な法的情報を効果的に抽出する能力を示した。