[论文解读] Dependency Learning for Legal Judgment Prediction with a Unified Text-to-Text Transformer

Yunyun Huang, Xiaoyu Shen+3 more|arXiv (Cornell University)|Dec 13, 2021

Artificial Intelligence in Law被引用 12

一句话总结

本文提出了一种基于T5的统一文本到文本Transformer模型，用于法律判决预测，通过自回归生成建模子任务（法律条文、指控、处罚）之间的依赖关系。尽管在通用领域文本上进行预训练，该模型仍优于领域特定模型和SOTA方法，尤其在低频标签上表现更优，同时通过法院视角生成和条文内容生成等辅助任务实现可解释性解释。

ABSTRACT

Given the fact of a case, Legal Judgment Prediction (LJP) involves a series of sub-tasks such as predicting violated law articles, charges and term of penalty. We propose leveraging a unified text-to-text Transformer for LJP, where the dependencies among sub-tasks can be naturally established within the auto-regressive decoder. Compared with previous works, it has three advantages: (1) it fits in the pretraining pattern of masked language models, and thereby can benefit from the semantic prompts of each sub-task rather than treating them as atomic labels, (2) it utilizes a single unified architecture, enabling full parameter sharing across all sub-tasks, and (3) it can incorporate both classification and generative sub-tasks. We show that this unified transformer, albeit pretrained on general-domain text, outperforms pretrained models tailored specifically for the legal domain. Through an extensive set of experiments, we find that the best order to capture dependencies is different from human intuitions, and the most reasonable logical order for humans can be sub-optimal for the model. We further include two more auxiliary tasks: court view generation and article content prediction, showing they can not only improve the prediction accuracy, but also provide interpretable explanations for model outputs even when an error is made. With the best configuration, our model outperforms both previous SOTA and a single-tasked version of the unified transformer by a large margin.

研究动机与目标

• 为解决先前方法将法律判决子任务视为独立或隐式共享所导致的局限性，通过显式建模其之间的依赖关系。
• 开发一种单一、统一的架构，同时支持分类和生成子任务，并实现完整的参数共享。
• 提升少样本泛化能力与低频标签上的性能，以解决先前模型持续过拟合的问题。
• 通过引入辅助任务（法院视角和条文内容生成）增强模型可解释性，以解释预测结果。
• 探究依赖学习的最优子任务顺序，挑战人类直觉的逻辑序列。

提出的方法

• 该模型采用基于T5的统一文本到文本Transformer，每个子任务被视为在训练期间需重建的掩码跨度。
• 子任务按特定的自回归顺序进行预测，使模型能够通过序列生成学习依赖关系。
• 原始法律判决文档结构被用作语义提示，与T5的预训练目标保持一致。
• 通过联合训练辅助任务（法院视角生成和法律条文内容预测），提升主任务性能并提供解释性轨迹。
• 模型在所有子任务间实现完整的参数共享，消除了任务特定的头部，降低了模型复杂度。
• 推理过程中，生成的序列被映射为分类标签以进行评估，保持端到端的简洁性。

实验结果

研究问题

• RQ1 在法律判决预测中，子任务依赖学习的最优顺序是什么？是否与人类逻辑直觉一致？
• RQ2 单一统一的文本到文本Transformer能否有效建模多样化的子任务（分类与生成）并实现参数共享？
• RQ3 与辅助任务联合训练是否能同时提升法律判决预测的准确率与可解释性？
• RQ4 在少样本设置下，模型表现如何，特别是在低频标签上？
• RQ5 模型能否通过辅助输出生成预测的解释，即使预测错误时亦可？

主要发现

• 统一的文本到文本Transformer在Macro-F1上显著优于先前SOTA模型及同一架构的单任务版本，表明其在低频标签上具有强大的泛化能力。
• 该模型在少样本学习中表现优异，仅用数百个训练样本即可实现良好泛化。
• 模型的最优子任务顺序与人类逻辑直觉不同，因为模型优先考虑最小化误差传播而非逻辑顺序。
• 法院视角生成不仅提升了预测准确率，还为预测提供了可解释的解释依据，即使在出现错误时亦成立。
• 法律条文内容预测显著提升了条文预测性能，其准确率超过专用文本匹配模型，且速度高出数百倍。
• 模型通过辅助任务生成解释的能力，为构建透明且可信的法律AI系统指明了方向。