[論文レビュー] Legal Transformer Models May Not Always Help

Saibo Geng, Rémi Lebret+1 more|arXiv (Cornell University)|Sep 14, 2021

Topic Modeling参考文献 15被引用数 5

ひとこと要約

この論文は、法的自然言語処理（NLP）におけるドメイン適応的事前学習とアダプターの有効性を調査し、ドメイン適応的モデル（例：LegalRoBERTa）が低リソースタスクでのみ顕著な性能向上を示すことを発見した。アダプターは、はるかに低い学習コストでフルファインチューニングと同等の性能を達成できることを示し、洗練された法的コーパスで事前学習されたRoBERTaベースのモデル、LegalRoBERTaをリリースした。

ABSTRACT

Deep learning-based Natural Language Processing methods, especially transformers, have achieved impressive performance in the last few years. Applying those state-of-the-art NLP methods to legal activities to automate or simplify some simple work is of great value. This work investigates the value of domain adaptive pre-training and language adapters in legal NLP tasks. By comparing the performance of language models with domain adaptive pre-training on different tasks and different dataset splits, we show that domain adaptive pre-training is only helpful with low-resource downstream tasks, thus far from being a panacea. We also benchmark the performance of adapters in a typical legal NLP task and show that they can yield similar performance to full model tuning with much smaller training costs. As an additional result, we release LegalRoBERTa, a RoBERTa model further pre-trained on legal corpora.

研究の動機と目的

• 標準モデルと比較して、法的NLPタスクにおけるドメイン適応的事前学習の性能向上を評価すること。
• ドメイン適応的事前学習の利点と下流タスクのデータサイズとの関係を調査すること。
• 法的NLPにおけるフルファインチューニングの効率的代替手段としてのアダプターの性能を評価すること。
• 洗練された法的コーパスで事前学習された新しい法的特化型RoBERTaモデル、LegalRoBERTaをリリースすること。
• 法的NLP応用において、ドメイン適応的事前学習が真に有益となる条件を特定すること。

提案手法

• Caselaw Access Project、Googleパテント、特許訴訟文書など、複数のソースから4.9GBの公開法的テキストを収集・クリーニングした。
• この法的コーパス上でRoBERTaモデルを事前学習し、ドメイン固有のハイパーパrameterを用いてマスク言語モデル化を実行することで、LegalRoBERTaを構築した。
• 法的NLPタスク2つ（法的テキスト分類、ケース検索）において、ベースのBERTおよびRoBERTaと比較して、LegalRoBERTaおよび他の法的モデル（例：LegalBERT）をベンチマークした。
• 法的テキスト分類タスクにおいて、学習データサイズを系統的に変化させ、データ不足がドメイン適応的事前学習の利点に与える影響を評価した。
• トランスフォーマーレイヤーに挿入可能な小型でトレーニング可能なニューラルモジュールであるアダプターを実装・評価し、フルファインチューニングと性能と学習コストを比較した。
• リtrievalおよび分類の性能を評価するために、標準指標（精度、再現率、F1、R@5、P@5、RP@5、NDCG@5）を用いて、モデルおよび設定ごとに性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 法的コーパスを用いたドメイン適応的事前学習は、標準事前学習モデルと比較して、法的NLPタスクの性能を顕著に向上させるか？
• RQ2 ドメイン適応的事前学習の利点は、下流タスクの学習データサイズに応じてどのように変化するか？
• RQ3 アダプターを用いたファインチューニングは、フルモデルファインチューニングと同等の性能を達成しつつ、学習コストとストレージ要件を削減できるか？
• RQ4 法的テキスト分類および検索タスクにおいて、LegalRoBERTaはベースのRoBERTaやBERTと比較して測定可能な性能向上を示すか？
• RQ5 法的NLP応用において、研究者が標準モデルではなくドメイン適応モデルを優先すべき状況はどのようなものか？

主な発見

• 法的コーパスを用いたドメイン適応的事前学習は、低リソースの下流タスクでのみ顕著な性能向上をもたらし、高リソースタスクではわずかな向上にとどまる。
• LegalRoBERTaは、低リソースのテキスト分類および検索タスクでベースのRoBERTaやBERTを上回り、LMTCタスクではF1スコア0.72、ケース検索ではNDCG@5が0.80を達成した。
• 同じ検索タスクにおいて、LegalBERTはLegalRoBERTa（F1: 0.72）よりも高いF1（0.73）を達成したが、両者ともベースのRoBERTa（F1: 0.74）およびBERT（F1: 0.71）を上回った。
• アダプターはフルファインチューニングと同等の性能を達成した：LMTCタスクにおいて、アダプターを用いたモデルは、フルファインチューニングモデルと同等のF1（0.72）およびNDCG@5（0.80）を達成した。
• 下流学習データが多ければドメイン適応的事前学習の性能向上はほとんどなく、データが不足している場合には顕著な向上が見られたことから、データサイズに強く依存するという関係性が確認された。
• LegalBERTよりも少ない学習データを用いても、LegalRoBERTaは同程度の性能を達成したため、焦点を当てた法的コーパスを用いた効率的な事前学習が可能であることが示唆された。