[論文レビュー] JNLP Team: Deep Learning Approaches for Legal Processing Tasks in COLIEE 2021

Ha-Thanh Nguyen, Phuong Nguyen+7 more|arXiv (Cornell University)|Jun 25, 2021

Artificial Intelligence in Law参考文献 9被引用数 9

ひとこと要約

この論文は、限定的な法的データを活用して、COLIEE 2021 コンペティションにおける法的テキスト処理タスクのためのJNLPチームのディーブラーニング手法を提示している。チームは、ファインチューニングされたBERTと多言語モデルを活用し、語彙的および意味的スコアリング、データ拡張、アンサンブル手法を組み合わせることで、競争力ある結果を達成した。特に、統計法に関する質問応答タスクにおいて、NFSP Baseが他のモデルを上回り、60.49%の正答率を記録した。

ABSTRACT

COLIEE is an annual competition in automatic computerized legal text processing. Automatic legal document processing is an ambitious goal, and the structure and semantics of the law are often far more complex than everyday language. In this article, we survey and report our methods and experimental results in using deep learning in legal document processing. The results show the difficulties as well as potentials in this family of approaches.

研究の動機と目的

• 限定的なアノテート済みデータによるCOLIEE 2021における低リソース法的テキスト処理の課題に対処すること。
• ディーブラーニングを用いて、ケース法則リトリーブ、含意関係、統計法に関する質問応答のパフォーマンスを向上させること。
• 事前学習言語モデルとハイブリッド語彙的・意味的スコアリングの有効性を法的NLPタスクにおいて調査すること。
• データ拡張とアンサンブル学習によるモデルの頑健性および一般化性能を最適化すること。
• 低リソース環境における法的質問応答タスクにおいて、クロスリンガルおよび多言語モデルの性能を評価すること。

提案手法

• ドメイン固有の事前学習を用いて、法的テキストに対してファインチューニングされたBERTベースのモデル（例：BertJp2、NFSP Base、NMSP Base）を適用した。
• リトリーブおよび含意関係タスクにおける候補順位付けのため、語彙的（tf-idf、BM25）および意味的（BERTベースの文埋め込み）スコアを統合した。
• tf-idf重み付きキーワードと自己ラベル化技術を用いたデータ拡張を実施し、モデルの一般化性能を向上させた。
• 含意関係および質問応答タスクにおける長文法的文書処理のため、スライディングウィンドウ（window_size=150、stride=50）を用いたテキストチャンク化を実施した。
• 複数のモデルバリアント（例：JNLP.EnssBest）を組み合わせたアンサンブル戦略を用いて、予測の安定化とパフォーマンス向上を図った。
• 最大20エポックまで延長した訓練を実施し、過学習の有無を検証した。バリデーションを用いて最適な訓練期間を選択した。

実験結果

リサーチクエスチョン

• RQ1 限定的なデータを用いた法的文書リトリーブおよび含意関係タスクにおいて、ハイブリッド語彙的・意味的スコアリング戦略はどの程度有効であるか？
• RQ2 従来の語彙的手法と比較して、ファインチューニングされたBERTモデルは、低リソース法的NLPタスクにおいてどの程度パフォーマンスを向上させられるか？
• RQ3 データ拡張および自己ラベル化技術は、法的テキスト処理におけるモデルの頑健性とばらつきの低減に寄与するか？
• RQ4 XLM-RoBERTa や BERT Multilingual などの多言語およびクロスリンガルモデルは、低リソース環境における法的質問応答タスクでどの程度の性能を示すか？
• RQ5 訓練期間とモデルアーキテクチャの影響は、法的テキスト分類および順位付けタスクにおける一般化性能にどのように現れるか？

主な発見

• JNLPチームは、統計法に関する質問応答タスク（タスク5）でテストセット正答率60.49%を達成し、他の全提出物を上回った。
• NFSP Baseモデルは、バリデーションセットで最高のパフォーマンス（71.0%）を示し、ブラインドテストセットでも良好な一般化性能を示した。
• アンサンブルモデル（JNLP.EnssBest）は複数回の実行において一貫したパフォーマンスを維持し、テストセットで81問中51問の正答を記録した。
• 訓練エポック数の増加によりモデルの安定性が向上したが、過剰なエポック数は過学習を引き起こしたため、ハイパーパramータチューニングに注意が必要であることが示された。
• 自己ラベル化テキストチャンク化技術により、性能のばらつきが低減した。これは、長文処理におけるノイズ耐性の向上を示唆している。
• XLM-RoBERTaおよび蒸留されたBERTバージョンは、拡張データから効果的に学習できず、BERT MultilingualはファインチューニングされたNFSPおよびNMSPモデルに比べてパフォーマンスが劣った。