[论文解读] An Empirical Study on Cross-X Transfer for Legal Judgment Prediction

Joel Niklaus, Matthias Stürmer+1 more|arXiv (Cornell University)|Sep 25, 2022

Artificial Intelligence in Law被引用 7

一句话总结

本论文首次基于多语言瑞士判決預測（SJP）數據集，對法律判決預測（LJP）中的跨語言、跨領域與跨司法管轄區遷移進行了實證研究。結果顯示，採用神經機器翻譯增強訓練數據的適配器微調方法顯著提升了模型性能，特別是在意大利語等低資源語言上，相較於先前工作實現了16.7%的相對提升；此外，跨區域與跨司法管轄區遷移進一步增強了模型的魯棒性與整體準確率。

ABSTRACT

Cross-lingual transfer learning has proven useful in a variety of Natural Language Processing (NLP) tasks, but it is understudied in the context of legal NLP, and not at all in Legal Judgment Prediction (LJP). We explore transfer learning techniques on LJP using the trilingual Swiss-Judgment-Prediction dataset, including cases written in three languages. We find that cross-lingual transfer improves the overall results across languages, especially when we use adapter-based fine-tuning. Finally, we further improve the model's performance by augmenting the training dataset with machine-translated versions of the original documents, using a 3x larger training corpus. Further on, we perform an analysis exploring the effect of cross-domain and cross-regional transfer, i.e., train a model across domains (legal areas), or regions. We find that in both settings (legal areas, origin regions), models trained across all groups perform overall better, while they also have improved results in the worst-case scenarios. Finally, we report improved results when we ambitiously apply cross-jurisdiction transfer, where we further augment our dataset with Indian legal cases.

研究动机与目标

• 探討在多語言環境下，跨語言遷移學習在法律判決預測（LJP）任務中的有效性，此任務此前尚未在多語言設定中被探討。
• 評估跨領域（法律領域）與跨區域（瑞士州份）遷移是否能提升模型在多樣化法律情境下的魯棒性與性能。
• 評估引入印度法律案例至訓練數據中，以實現跨司法管轄區遷移對模型泛化能力的影響。
• 分析模型在不同語言、法律領域與地理區域之間的表徵偏差，以促進法律人工智慧系統的公平性與魯棒性。

提出的方法

• 採用適配器微調技術微調基於多語言 BERT 的模型，以最小化零樣本遷移過程中多語言知識的錯位。
• 利用神經機器翻譯（NMT）將原始 SJP 訓練語料擴增三倍，生成德語、法語與意大利語的合成案例。
• 在多個法律領域（民事、刑事、公法、社會法）與地區（八個瑞士州）的數據上訓練模型，以評估跨領域與跨區域遷移效果。
• 透過引入來自 ILDC 數據集的 10 萬則機器翻譯的印度法律案例，擴展訓練數據，以探索 LJP 中的跨司法管轄區遷移。
• 使用標準指標（如 F1、準確率）在不同語言、法律領域與地區上評估模型性能，以分析偏差與魯棒性。
• 進行消融研究，以分離語言、地區與法律領域對模型性能的影響，特別關注最差情況下的表現。

实验结果

研究问题

• RQ1 RQ1：在法律判決預測中，跨語言遷移是否對所有或部分語言均具有益處？
• RQ2 RQ2：模型是否能從跨領域（法律領域）與跨區域（地理區域）遷移中受益，從而提升魯棒性與性能？
• RQ3 RQ3：利用另一司法管轄區的數據——具體而言是印度法律案例——是否能提升 LJP 中的模型性能？
• RQ4 RQ4：語言、來源地區或法律領域的表徵偏差如何影響模型性能與公平性？

主要发现

• 採用神經機器翻譯增強訓練數據的適配器微調方法，使低資源意大利語子集的 F1 分數相較於先前最優方法提升了 16.7% 的相對提升。
• 與 Niklaus 等人（2021）提出的最佳基線相比，使用機器翻譯案例擴增三倍的訓練語料後，整體模型性能在 F1 指標上提升了 7% 的絕對值。
• 跨區域與跨領域遷移持續提升了模型的魯棒性，即使在表現最差的地區與法律領域中也觀察到性能提升。
• 透過使用印度法律案例進行跨司法管轄區遷移，整體性能進一步提升了 2.3% 的絕對 F1，且在意大利語子集中相比最強基線（NativeBERTs）提升了 4.6%。
• 表徵偏差並不能完全解釋不同語言或地區之間的性能差異，表明資料品質與領域特異性等因素也發揮了顯著作用。
• 本研究證明，透過 NMT 進行資料增強與多來源知識整合，是提升 LJP 模型性能的高效策略，特別是在低資源環境下。