[論文レビュー] LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development

Ilias Chalkidis, Nicolas Garneau+3 more|arXiv (Cornell University)|May 12, 2023

Artificial Intelligence in Law被引用数 4

ひとこと要約

本論文は、6つの法制度（EU、UK、米国、カナダ、インド、欧州委員会）をカバーする190億トークンにのぼる多様な国際的英語法的コーパスであるLeXFilesと、事前学習済み言語モデルの法的知識を評価するためのプローブベンチマークであるLegalLAMAを紹介する。著者らは、LeXFilesで微調整された2つの新しい法的PLM（LexLMs）をリリースし、上流のマスキング言語モデル性能と法的コンセプトに関するプローブ性能が、LexGLUEにおける下流性能と強く相関していることを示した。これは、効果的な法的NLPモデルの構築において、ドメイン特化型の事前学習と法的知識の習得の両方が重要であることを示している。

ABSTRACT

In this work, we conduct a detailed analysis on the performance of legal-oriented pre-trained language models (PLMs). We examine the interplay between their original objective, acquired knowledge, and legal language understanding capacities which we define as the upstream, probing, and downstream performance, respectively. We consider not only the models' size but also the pre-training corpora used as important dimensions in our study. To this end, we release a multinational English legal corpus (LeXFiles) and a legal knowledge probing benchmark (LegalLAMA) to facilitate training and detailed analysis of legal-oriented PLMs. We release two new legal PLMs trained on LeXFiles and evaluate them alongside others on LegalLAMA and LexGLUE. We find that probing performance strongly correlates with upstream performance in related legal topics. On the other hand, downstream performance is mainly driven by the model's size and prior legal knowledge which can be estimated by upstream and probing performance. Based on these findings, we can conclude that both dimensions are important for those seeking the development of domain-specific PLMs.

研究の動機と目的

• 多様な法制度およびサブコーパスをカバーする法的PLMの包括的評価の欠如に対処すること。
• 上流の事前学習目的、法的コンセプトに関するプローブ性能、および下流タスク性能の間の相互作用を調査すること。
• 将来的な研究を支援するため、大規模かつ国際的な英語法的コーパス（LeXFiles）と法的知識プローブベンチマーク（LegalLAMA）の開発およびリリースを行うこと。
• LeXFiles上でトレーニングされた新しい法的PLM（LexLMs）を訓練・評価し、LegalLAMAおよびLexGLUE上で既存モデルと比較すること。
• モデルサイズ、事前学習コーパスの多様性、法的知識習得が、下流の法的NLPパフォーマンスに与える相対的寄与度を特定すること。

提案手法

• 著者らは、6つの英語圏法制度にまたがる11のサブコーパスからなる580万件のドキュメントを含む多言語法的コーパスであるLeXFilesを構築した。合計で約190億トークンにのぼる。
• 法的用語、判例法、法的規定に関する知識を、異なる法制度およびトピックで評価する8つのサブタスクを備えたプローブベンチマークであるLegalLAMAをリリースした。
• RoBERTa-baseおよびRoBERTa-largeモデルを、LeXFiles上でさらに事前学習することで、2つの新しい法的PLM（LexLMs）を訓練した。学習ステップは100万ステップ増加した。
• 著者らは、LeXFilesのサブコーパスおよびLegalLAMAのタスクで7つのPLMを評価し、上流（MLM）、プローブ（知識習得）、下流（LexGLUE）のパフォーマンスを測定した。
• 上流、プローブ、下流のパフォーマンスの相関関係を分析し、上流およびプローブスコアが下流成功を予測する能力を評価した。
• 特定のLexGLUEタスクで微調整を実施し、事前学習が下流一般化に果たす役割を検証するとともに、転移パフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 LeXFilesコーパス内の異なる法制度およびサブコーパスにおける法的PLMのパフォーマンスは、どのように変動するか？
• RQ2 上流のマスキング言語モデル性能は、法的NLPタスクにおける下流パフォーマンスをどの程度予測できるか？
• RQ3 法的PLMは法的知識プローブタスクにどの程度一般化できるか？ これは、モデルが習得した法的知識の性質を明らかにするか？
• RQ4 モデルサイズと事前学習コーパスの多様性の、下流パフォーマンスへの相対的寄与度は何か？
• RQ5 上流およびプローブパフォーマンスは、法的NLPにおける下流パフォーマンスを予測するための信頼できる代理指標として機能するか？

主な発見

• 上流のマスキング言語モデル性能と、法的コンセプトに関するプローブ性能の間には強い相関関係が認められ、多様な法的コーパスで事前学習されたモデルが体系的な法的知識を習得していることを示している。
• LexGLUEにおける下流パフォーマンスは、主にモデルサイズと事前の法的知識に依存しており、これは上流およびプローブパフォーマンスから推定可能である。
• LeXFilesコーパスには11のサブコーパスにわたり190億トークンが含まれており、そのうち米国判例法（59.2%）と米国契約（27.3%）が最も大きな構成比を占めており、既存の法的コーパスにおける顕著な米国バイアスを反映している。
• LegalLAMAには、法的用語、判例法、法的規定をカバーする8つのプローブサブタスクが含まれており、マスクされた語句はECHR や米国刑法典などの主要な法的文書から抽出されている。
• LexGLUEタスクで微調整されたモデルは、上流およびプローブパフォーマンスが下流成功の強力な予測要因であることを示しており、事前学習段階での知識習得が転移パフォーマンスの主要因である可能性を示唆している。
• LeXFilesで事前学習されたLexLMsのリリースにより、国際的法制度をより包括的にカバーする新しいベンチマークが提供され、法的PLMの訓練および評価が促進される。