[論文レビュー] When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset

Lucia Zheng, Neel Guha+3 more|arXiv (Cornell University)|Apr 18, 2021

Artificial Intelligence in Law参考文献 44被引用数 14

ひとこと要約

本稿では、米国判例法における法的判決（legal holdings）を特定する53,000件を超える複数選択問題から構成されるベンチマークデータセットCaseHOLDを紹介し、350万件の法律判例を用いたドメイン特化型事前学習が、困難でドメイン特化度の高いタスクでのみ顕著な向上（BERT比でF1スコア7.2%向上）をもたらすことを示している。本研究は、法律NLP分野における事前学習の効果が限定的であるという謎を解き明かし、タスクの難易度とドメイン特化度が事前学習コーパスと一致する場合にのみ、事前学習が最大の効果を発揮することを示している。

ABSTRACT

While self-supervised learning has made rapid advances in natural language processing, it remains unclear when researchers should engage in resource-intensive domain-specific pretraining (domain pretraining). The law, puzzlingly, has yielded few documented instances of substantial gains to domain pretraining in spite of the fact that legal language is widely seen to be unique. We hypothesize that these existing results stem from the fact that existing legal NLP tasks are too easy and fail to meet conditions for when domain pretraining can help. To address this, we first present CaseHOLD (Case Holdings On Legal Decisions), a new dataset comprised of over 53,000+ multiple choice questions to identify the relevant holding of a cited case. This dataset presents a fundamental task to lawyers and is both legally meaningful and difficult from an NLP perspective (F1 of 0.4 with a BiLSTM baseline). Second, we assess performance gains on CaseHOLD and existing legal NLP datasets. While a Transformer architecture (BERT) pretrained on a general corpus (Google Books and Wikipedia) improves performance, domain pretraining (using corpus of approximately 3.5M decisions across all courts in the U.S. that is larger than BERT's) with a custom legal vocabulary exhibits the most substantial performance gains with CaseHOLD (gain of 7.2% on F1, representing a 12% improvement on BERT) and consistent performance gains across two other legal tasks. Third, we show that domain pretraining may be warranted when the task exhibits sufficient similarity to the pretraining corpus: the level of performance increase in three legal tasks was directly tied to the domain specificity of the task. Our findings inform when researchers should engage resource-intensive pretraining and show that Transformer-based architectures, too, learn embeddings suggestive of distinct legal language.

研究の動機と目的

• 法的言語の特徴が顕著であるにもかかわらず、ドメイン特化型事前学習によるパフォーマンス向上が限定的であるという問題を解決すること。
• 法的引用文における法的判決を特定するという法的タスクの核となる課題を反映した、新たな挑戦的ベンチマークデータセットを構築すること。
• ドメイン特化型事前学習が一般事前学習よりも法律NLPタスクで顕著な向上をもたらす条件とその理由を評価すること。
• 研究者が高コストなドメイン特化型事前学習に投資すべきかどうかを判断するための実用的ヒューリスティック（ドメイン特化度スコア（DSスコア））を提供すること。
• トランスフォーマーが法的言語を学習可能であり、ドメイン特化型事前学習が科学的・医療的NLP分野で見られるような向上をもたらす可能性があることを実証すること。

提案手法

• 引用規則と意味的マッチングを用いて、米国判例の引用文から判決文を抽出し、複数選択問題としてCaseHOLDを構築した。
• 独自の法的語彙を用いて、米国連邦および州判例からなる350万件のコーパスを用いて、BERTベースのモデルを事前学習した。
• 3つの法律NLPタスク（CaseHOLD（判決特定）、Overruling（引用の無効化検出）、Terms of Service（契約分類））に対して、ドメイン特化型事前学習済みモデルを微調整した。
• F1スコアを用いてパフォーマンスを測定し、一般事前学習（Google Books + Wikipedia）とドメイン特化型事前学習の両者を比較した。
• 各タスクのドメイン特化度（DSスコア）を算出し、タスクのドメイン適合度とパフォーマンス向上の相関関係を分析した。
• BiLSTMベースラインを用いてパフォーマンスの下限を確立し、事前学習による相対的向上度を評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型事前学習が法律NLPで顕著なパフォーマンス向上をもたらす条件は何か？
• RQ2 法的言語の特徴が顕著であるにもかかわらず、過去の法的言語モデルの事前学習試みが僅かな向上しか得られていないのはなぜか？
• RQ3 法律NLP分野における新たな挑戦的ベンチマークタスクが、これまで見えなかったドメイン特化型事前学習の利点を明らかにできるか？
• RQ4 タスクのドメイン特化度とドメイン特化型事前学習によるパフォーマンス向上の大きさの相関関係は何か？
• RQ5 ドメイン特化度（DSスコア）のような単純な指標が、研究者が高コストなドメイン特化型事前学習に投資すべきかどうかを判断するのに役立つだろうか？

主な発見

• 350万件の判例コーパスを用いたドメイン特化型事前学習により、CaseHOLDベンチマークでF1スコアが7.2%絶対値で向上し、BERT比で12%の相対的向上を達成した。
• CaseHOLDでのパフォーマンス向上は、これまでのあらゆる法律NLPタスクで記録された最大のものであり、SciBERT や BioBERT で観察された向上と同等のものであった。
• 一般事前学習（BERT）は、Overruling などの簡単なタスク（BiLSTMでF1 ≈ 0.91）においても高いパフォーマンスを達成しており、ドメイン特化型事前学習による向上の余地はほとんどなかった。
• ドメイン特化型事前学習によるパフォーマンス向上は、最も困難でドメイン特化度の高いタスク（CaseHOLD）で最大であり、特化度が低いか簡単なタスクでは効果が薄れていった。
• タスクごとのパフォーマンス向上の程度は、ドメイン特化度（DSスコア）と直接相関しており、DSスコアが事前学習への投資意思決定の実用的ヒューリスティックであることが裏付けられた。
• 本研究の結果は、法的言語がトランスフォーマーによって学習可能であり、ドメイン特化型事前学習が法的テキストに特有の言語的パターンを捉えることができることを示している。