[論文レビュー] An Empirical Study on Cross-X Transfer for Legal Judgment Prediction

Joel Niklaus, Matthias Stürmer+1 more|arXiv (Cornell University)|Sep 25, 2022

Artificial Intelligence in Law被引用数 7

ひとこと要約

本論文は、多言語のスイス判決予測（SJP）データセットを用いて、法的判断予測（LJP）における最初の実証的研究として、多言語、多分野、多司法管轄区への転移を提示する。アダプタベースの微調整と神経機械翻訳（NMT）を用いた訓練データの拡張により、特にリソースが乏しい言語（イタリア語など）において顕著な性能向上が達成され、先行研究比で相対的に16.7%の改善を示した。また、多司法管轄区および多分野への転移は、モデルの頑健性と全体的な正確性をさらに高めた。

ABSTRACT

Cross-lingual transfer learning has proven useful in a variety of Natural Language Processing (NLP) tasks, but it is understudied in the context of legal NLP, and not at all in Legal Judgment Prediction (LJP). We explore transfer learning techniques on LJP using the trilingual Swiss-Judgment-Prediction dataset, including cases written in three languages. We find that cross-lingual transfer improves the overall results across languages, especially when we use adapter-based fine-tuning. Finally, we further improve the model's performance by augmenting the training dataset with machine-translated versions of the original documents, using a 3x larger training corpus. Further on, we perform an analysis exploring the effect of cross-domain and cross-regional transfer, i.e., train a model across domains (legal areas), or regions. We find that in both settings (legal areas, origin regions), models trained across all groups perform overall better, while they also have improved results in the worst-case scenarios. Finally, we report improved results when we ambitiously apply cross-jurisdiction transfer, where we further augment our dataset with Indian legal cases.

研究の動機と目的

• 法的判断予測（LJP）における多言語的転移学習の有効性を検証すること。これは、多言語環境下でこれまで未解決であったタスクである。
• 多分野（法的分野）および多地域（スイス州）への転移が、多様な法的文脈におけるモデルの頑健性と性能に寄与するかどうかを評価すること。
• インドの法的事例を訓練データに組み込むことで、司法管轄区を越えた転移がLJPにおける一般化性能に寄与するかどうかを評価すること。
• 言語、法的分野、地理的地域に関するモデル性能における表現的バイアスを分析し、法的AIシステムにおける公平性と頑健性を向上させるための知見を得ること。

提案手法

• ゼロショット転移における多言語的知識の不整合を最小限に抑えるために、アダプタベースの微調整を用いた多言語BERTベースのモデルを微調整した。
• 神経機械翻訳（NMT）を用いて、ドイツ語、フランス語、イタリア語の合成事例を生成することで、元のSJP訓練コーパスを3倍に拡張した。
• 複数の法的分野（民事、刑事、行政、社会法）および地域（8つのスイス州）のデータを統合して訓練したことで、多分野および多地域への転移を評価した。
• ILDCデータセットから得た10万件の機械翻訳済みインドの法的事例を用いて、LJPにおける司法管轄区を越えた転移を検証した。
• 言語、法的分野、地域ごとの標準指標（例：F1スコア、正答率）を用いてモデル性能を評価し、バイアスと頑健性を分析した。
• 言語、地域、法的分野の影響を分離するためのアブレーションスタディを実施し、特に性能が最も悪かったケースに注目した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 法的判断予測において、多言語的転移はすべての言語または一部の言語において有益であるか？
• RQ2 RQ2: 多分野（法的分野）および多地域（地理的地域）への転移は、モデルの頑健性と性能向上に寄与するか？
• RQ3 RQ3: インドの法的事例を活用することで、LJPにおけるモデル性能が向上するか？
• RQ4 RQ4: 言語、出典地域、法的分野に関する表現的バイアスは、モデル性能と公平性にどのように影響するか？

主な発見

• NMTを用いたデータ拡張とアダプタベースの微調整により、リソースが乏しいイタリア語のサブセットにおいて、F1スコアが先行研究比で相対的に16.7%向上した。
• 機械翻訳済み事例を含む3倍の大きな訓練コーパスを用いることで、Niklausら（2021）の最良ベースライン比で、全体のF1スコアが7%絶対的に向上した。
• 多地域および多分野への転移は、一貫してモデルの頑健性を向上させ、特に性能が最も悪かった地域や法的分野においても性能向上が確認された。
• インドの法的事例を用いた司法管轄区を越えた転移により、全体のF1スコアが2.3%絶対的に向上し、特にイタリア語サブセットでは強力なベースライン（NativeBERTs）比で4.6%向上した。
• 表現的バイアスは、言語や地域間での性能差を完全に説明できず、データ品質や分野特異性といった他の要因も顕著な役割を果たしていることが示唆された。
• 本研究は、NMTによるデータ拡張と複数ソースの知識統合が、特にリソースが乏しい環境において、LJPモデルの性能向上に極めて有効であることを示した。