[論文レビュー] JNLP Team: Deep Learning for Legal Processing in COLIEE 2020

Ha-Thanh Nguyen, Hai-Yen Thi Vuong+8 more|arXiv (Cornell University)|Nov 4, 2020

Topic Modeling参考文献 4被引用数 21

ひとこと要約

JNLPチームは、COLIEE 2020における法的テキスト処理のためのディーブラーニング手法を提案する。特に、大規模な法的データ上で微調整されたBERTベースのモデル、特にBERT Lawを活用することで、法的リtrievalおよびテキスト帰属推論の性能を向上させる。本手法は最先端の性能を達成し、Task 4においてBERT LawがBERT-base-uncasedよりも15.5%高い正答率を示しており、法的NLPタスクにおけるドメイン特化型事前学習の有効性を示している。

ABSTRACT

We propose deep learning based methods for automatic systems of legal retrieval and legal question-answering in COLIEE 2020. These systems are all characterized by being pre-trained on large amounts of data before being finetuned for the specified tasks. This approach helps to overcome the data scarcity and achieve good performance, thus can be useful for tackling related problems in information retrieval, and decision support in the legal domain. Besides, the approach can be explored to deal with other domain specific problems.

研究の動機と目的

• 法的NLPにおけるデータ不足を解消するために、法的テキスト上で大規模事前学習を活用し、モデルの一般化性能を向上させる。
• ディープラーニングと語彙的マッチング（BM25）を組み合わせたハイブリッドシステムを構築し、リtrievalおよび帰属推論の性能を向上させる。
• ドメイン特化型事前学習の影響を調査するため、法的最適化されたBERTバージョン、BERT Lawを導入する。
• 弱いラベルが付与された支援関係を組み合わせ、ニューラルスコアリングを用いて法的質問応答およびケースリtrievalを改善する。
• 実世界のデータ制約下で、複数の法的タスク（リtrievalおよびテキスト帰属推論を含む）において、モデルの安定性と性能を評価する。

提案手法

• ヒューリスティクスを用いて判例文書から自動抽出された弱いラベルが付与されたテキストペアのデータセット上でBERTベースモデルを微調整する。
• BERTベースの支援スコアとBM25語彙的類似度スコアを重み付き融合により統合する：$score = \alpha \cdot score_{supporting} + (1 - \alpha) \cdot score_{BM25}$。
• 日本およびカナダの法的文書の大規模コーパス上で事前学習された、法的ドメインに最適化された専用のBERT Lawモデルを訓練する。
• 法的文書と過去の司法試験問題を用いたデータ拡張により、法的妥当性分類タスクの訓練データを拡張する。
• Task 4に対して2つの異なるアプローチを適用する：(1)ゴールデータまたはTf-idfでリtrieブされた記事を用いたテキスト帰属推論、(2)BERT Lawを用いた法的妥当性の二値分類。
• 10%の開発セットを用いてハイパーパramータとモデル選択を最適化し、最終的な評価はゴールテストデータ上で実施する。

実験結果

リサーチクエスチョン

• RQ1 BERT Lawを用いたドメイン特化型事前学習は、一般ドメインBERTと比較して、法的テキスト処理タスクの性能を顕著に向上させるか？
• RQ2 ディープラーニングと語彙的類似度（BM25）を組み合わせることで、単独で使用する場合よりも法的リtrieバルタスクでより良い結果が得られるか？
• RQ3 テキスト帰属推論タスクの学習において、ゴールスタンダードデータではなくTf-idfでリtrieブされた補足記事を使用することで利点が得られるか？
• RQ4 データの質と量は、微調整されたBERTモデルの法的NLPベンチマークにおける性能にどのように影響するか？
• RQ5 ヒューリスティクスから抽出された弱いラベル付きデータは、法的ケースリtrieバルにおける支援関係分類器の学習に効果的に活用できるか？

主な発見

• BERT Lawモデルは、法的妥当性分類タスクの開発セットで81.68%の正答率を達成し、BERT-base-uncased（77.84%）を顕著に上回った。
• Task 4のゴールテストセットにおいて、BERT Lawは72.32%の正答率を達成し、BERT-base-uncased（56.25%）を15.5%、Tf-idf + BERT-base（55.36%）を16.0%上回った。
• Tf-idfでリtrieブされた補足記事を学習に使用することで、テキスト帰属推論タスクの性能が1.39ポイント向上（0.5417 vs. 0.5278）した。
• BERTの支援スコアとBM25語彙的類似度スコアを統合したハイブリッドスコアリングモデルは、ディープラーニングと語彙的マッチングの相補的特徴を活かし、リtrieバル性能を向上させた。
• 結果から、法的NLPにおける高い性能を達成するにはドメイン特化型事前学習（BERT Law）が不可欠であることが示された。特にリソースが限られた状況下で顕著である。
• テストデータのばらつきにもかかわらず、BERT Lawは複数の評価において一貫した顕著な向上を示し、法的テキスト理解における優れた一般化性能とロバスト性を示した。