[論文レビュー] Pre-trained Language Models for the Legal Domain: A Case Study on Indian Law

Shounak Paul, Arpan Mandal+2 more|arXiv (Cornell University)|Sep 13, 2022

Artificial Intelligence in Law被引用数 27

ひとこと要約

この論文は Indian 法域テキストでの二つの LegalBERT 系列モデルの継続的事前学習と、ゼロからの自作インド法語彙モデルの学習を検討する。インドおよび非インドの法的タスクで評価を行い、インド域の事前学習が性能を向上させることを示し、InLegalBERT がエンドタスク全般で強力な結果を達成する。

ABSTRACT

NLP in the legal domain has seen increasing success with the emergence of Transformer-based Pre-trained Language Models (PLMs) pre-trained on legal text. PLMs trained over European and US legal text are available publicly; however, legal text from other domains (countries), such as India, have a lot of distinguishing characteristics. With the rapidly increasing volume of Legal NLP applications in various countries, it has become necessary to pre-train such LMs over legal text of other countries as well. In this work, we attempt to investigate pre-training in the Indian legal domain. We re-train (continue pre-training) two popular legal PLMs, LegalBERT and CaseLawBERT, on Indian legal data, as well as train a model from scratch with a vocabulary based on Indian legal text. We apply these PLMs over three benchmark legal NLP tasks -- Legal Statute Identification from facts, Semantic Segmentation of Court Judgment Documents, and Court Appeal Judgment Prediction -- over both Indian and non-Indian (EU, UK) datasets. We observe that our approach not only enhances performance on the new domain (Indian texts) but also over the original domain (European and UK texts). We also conduct explainability experiments for a qualitative comparison of all these different PLMs.

研究の動機と目的

• LegalBERT 系列モデルをインド法データで継続事前学習させることが下流の法的NLPタスクの性能を改善するかを評価する。
• インドドメインのPLM（InLegalBERT、InCaseLawBERT、CustomInLawBERT）を開発し、ベースモデルと比較する。
• インドおよび非インドのデータセットを横断する Legal Statute Identification、判決のセマンティックセグメンテーション、Court Judgement Prediction を評価する。
• Domain adaptation の影響を理解するためにモデルのアテンションを分析する。
• 再現性と今後の研究のために公開性の高いモデルを公開する。

提案手法

• 最高裁判所/高裁の判決文および中央法令を含む、インドの法データ約5.4M文書、約27GB の大規模コーパスを構築する。
• インドデータ上で LegalBERT と CaseLawBERT の継続前訓練を行い InLegalBERT および InCaseLawBERT を取得する；カスタムのインド法語彙を用いた BERT-base-uncased モデルをゼロから訓練する（CustomInLawBERT）。
• データの10% で訓練されたWordPiece を用いて、ゼロから訓練されるモデル用のカスタムインド語彙を作成する。
• 前訓練中に長い文脈を可能にするため512トークン入力チャンクと254トークンセグメントを使用する；動的マスキングによる MLM、動的サンプリングによる NSP を採用する。
• 保持されたインド法テストセットでの困惑度を評価し、エンドタスク微調整を HierBERT アーキテクチャ（文/チャンクエンコーダ + アテンション付き LSTM）を用いてタスク横断で実施する。
• インドおよび欧州データセットの Legal Statute Identification（LSI）、Judgments の Semantic Segmentation、Court Judgement Prediction でモデルを比較する。」] ,
• research_questions10

実験結果

リサーチクエスチョン

• RQ1 インド法データでのさらなる事前学習は、ベースの LegalBERT/CaseLawBERT と比較して、インド法NLPタスクの性能を改善するか？
• RQ2 ゼロから訓練されたインド法語彙モデル（CustomInLawBERT）は、再訓練済みのインドドメインモデルと比較してどうか？
• RQ3 インド域のPLMsは、インドデータと併せて非インドの法的数据集（EU/UK など）へ一般化または転移するか？
• RQ4 インド特有の事前学習におけるアテンションパターンは、ドメイン適応について何を示唆するか？
• RQ5 インド域のPLMs がベンチマーク法データセットで達成する最先端性能は何か？

主な発見

Model	ILSI (mP)	ILSI (mR)	ILSI (mF1)	ECtHR-B (mP)	ECtHR-B (mR)	ECtHR-B (mF1)
BERT	82.12	49.07	59.11	77.50	69.31	72.95
LegalBERT	83.98	53.83	63.89	80.85	70.76	75.09
CaseLawBERT	82.89	54.72	64.53	82.37	66.45	72.87
InLegalBERT	82.42	55.16	64.58	83.93	71.41	75.88
InCaseLawBERT	81.07	55.64	64.44	77.35	69.45	72.86
CustomInLawBERT	82.48	54.46	64.29	79.64	67.09	72.56

• InLegalBERT はインドデータ上で studied 模型の中で最良の perplexity を達成し（5.2547）、エンドタスクで他のバリアントを総じて上回る。
• CustomInLawBERT は学習ステップが少ないにもかかわらず（700k）、BERT を上回り、いくつかのデータセットで InLegalBERT/InCaseLawBERT の性能に近づく。
• InLegalBERT はほとんどのエンドタスクで他のすべての PLM を上回り、元の研究のデータセットと比較して4つのデータセットで最先端の結果を確立する。
• perplexity の結果は、インド域の事前学習が base モデルおよび EU/US 専用の LegalBERT/CaseLawBERT モデルよりも困惑度を低減することを示す（例：BERT 25.76 対 InLegalBERT 5.25）。
• Encoder のバリアント（LegalBERT、InLegalBERT など）を用いた微調整済み HierBERT アーキテクチャは、インドおよび非インドのベンチマーク（LSI、ECtHR-B）でベースラインを上回る利得を生む。
• 著者らは HuggingFace から公開可能なモデルを提供している：InLegalBERT、InCaseLawBERT、CustomInLawBERT および付随する事前訓練コード。