[論文レビュー] ParaLaw Nets -- Cross-lingual Sentence-level Pretraining for Legal Text Processing

Ha-Thanh Nguyen, Vu Tran+7 more|arXiv (Cornell University)|Jun 25, 2021

Topic Modeling参考文献 12被引用数 8

ひとこと要約

本論文では、日本語と英語の並列法的テキストを活用して意味的曖昧性を低減する、法的テキスト処理のためのクロスリンガル文単位事前学習フレームワークであるParaLaw Netsを提案する。否定規則を用いたデータ拡張により、対応する文のペアで訓練することで、COLIEE-2021法的質問応答ベンチマークにおいて最先端の性能を達成し、NFSP Baseモデルは盲検出力セットで60.49%の正確性を達成した。

ABSTRACT

Ambiguity is a characteristic of natural language, which makes expression ideas flexible. However, in a domain that requires accurate statements, it becomes a barrier. Specifically, a single word can have many meanings and multiple words can have the same meaning. When translating a text into a foreign language, the translator needs to determine the exact meaning of each element in the original sentence to produce the correct translation sentence. From that observation, in this paper, we propose ParaLaw Nets, a pretrained model family using sentence-level cross-lingual information to reduce ambiguity and increase the performance in legal text processing. This approach achieved the best result in the Question Answering task of COLIEE-2021.

研究の動機と目的

• クロスリンガル文単位のアライメントを活用して、法的テキスト処理における意味的曖昧性を軽減すること。
• 多言語事前学習を用いて、法的NLPタスクにおけるゼロショットおよびフェイシング一般化を改善すること。
• 日本語法的テキストにおける複雑な否定を適切に処理できる堅牢な事前学習戦略を開発すること。
• COLIEE-2021のような法的ベンチマークデータセットにおけるクロスリンガル文単位事前学習の有効性を評価すること。
• 文単位の並列データが、語彙レベルや文書レベルのアライメントを越えてモデルの理解を向上させるかどうかを実証すること。

提案手法

• 日本民法とその英語訳の並列文からなるデータセットを用い、対応する文のペアを用いて意味的一致性を強制することで、モデルを事前学習する。
• データ拡張は否定規則を用いて実施：各法的文に対して、その否定形（違法）を生成し、ラベルを反転させることで、訓練の多様性を向上させる。
• 日本語データ用にカリキュラム学習戦略を採用：全データセットの訓練前に、最初の3つの否定規則で初期訓練を行い、収束を安定化させる。
• 6つのモデル（BERT Multilingual、XLM-RoBERTa、NFSP、NMSPバリエーション（ベースおよび蒸留））を用いて、法的妥当性分類タスクで評価する。
• ソース文とターゲット文を同時にエンコードすることで、共有される意味的表現を学習する、クロスリンガル文単位事前学習を実装する。
• COLIEE-2021法的質問応答データセットで微調整を行い、モデルのパフォーマンスは盲検出力セットの正確性で測定する。

実験結果

リサーチクエスチョン

• RQ1 文単位のクロスリンガル事前学習は、単語レベルやモノリンガルアライメント手法と比較して、法的テキスト理解における曖昧性を低減できるか？
• RQ2 否定規則によるデータ拡張は、法的テキスト分類タスクにおけるモデルのロバストネスをどのように向上させるか？
• RQ3 なぜ蒸留モデルとXLM-RoBERTaは日本語法的データでは収束しなかったのに対し、NFSPとNMSPモデルは成功したのか？
• RQ4 並列法的テキストの文単位での事前学習は、下流の法的NLPタスクにおけるゼロショットまたはフェイシング性能を向上させるか？
• RQ5 文法的・語形論的複雑さの異なる言語ペア（例：英語と日本語）において、モデルの性能がどの程度一般化されるか？

主な発見

• NFSP Baseモデルは、COLIEE-2021の盲検出力セットで60.49%の正確性を達成し、他のすべての提出システムを上回った。
• NMSP Baseモデルは55.56%の正確性を達成し、2位となった。一方、BERT Multilingualは46.91%を記録し、提案手法の優位性が示された。
• NFSPおよびNMSPの蒸留バージョンは収束しなかったが、正確性は52%未満にとどまり、この特定のクロスリンガル設定では知識蒸留が有効でない可能性を示唆した。
• XLM-RoBERTaおよび蒸留モデルでは、訓練損失が約0.7の周囲で不安定に変動し、日本語法的データにおける学習ダイナミクスの悪さが示された。
• BERT MultilingualはXLM-RoBERTaより収束が良かったが、依然としてNFSPおよびNMSPに劣っており、文単位のクロスリンガル事前学習の利点が浮き彫りになった。
• カリキュラム学習戦略は日本語データの学習において不可欠であった。全否定規則を一度に適用した全データセット学習では収束しなかったため、日本語の否定構造の複雑さが原因であると示唆された。