[论文解读] A Dataset for Statutory Reasoning in Tax Law Entailment and Question Answering

Nils Holzenberger, Andrew Blair-Stanek+1 more|arXiv (Cornell University)|May 11, 2020

Artificial Intelligence in Law被引用 26

一句话总结

本文提出了StAtutory Reasoning Assessment（SARA）数据集，该数据集包含美国税法法规条文及基于规范性规则的自然语言问题，要求进行精确推理。尽管对最先进的自然语言处理（NLP）模型进行了法律文本微调，其表现仍远逊于手工构建的Prolog符号系统，后者实现了100%的准确率，凸显了在自然语言表达的法律约束规则下进行推理的挑战。

ABSTRACT

Legislation can be viewed as a body of prescriptive rules expressed in natural language. The application of legislation to facts of a case we refer to as statutory reasoning, where those facts are also expressed in natural language. Computational statutory reasoning is distinct from most existing work in machine reading, in that much of the information needed for deciding a case is declared exactly once (a law), while the information needed in much of machine reading tends to be learned through distributional language statistics. To investigate the performance of natural language understanding approaches on statutory reasoning, we introduce a dataset, together with a legal-domain text corpus. Straightforward application of machine reading models exhibits low out-of-the-box performance on our questions, whether or not they have been fine-tuned to the legal domain. We contrast this with a hand-constructed Prolog-based system, designed to fully solve the task. These experiments support a discussion of the challenges facing statutory reasoning moving forward, which we argue is an interesting real-world task that can motivate the development of models able to utilize prescriptive rules specified in natural language.

研究动机与目标

• 为解决法律自然语言处理领域缺乏大规模、系统性资源的问题，特别是针对法定推理任务。
• 探究现代NLP模型是否能有效处理以自然语言表达的规范性法律规则。
• 提供一个基准数据集，以捕捉现实世界税务法解释的复杂性。
• 对比神经网络NLP模型与符号推理系统，揭示当前方法的局限性。
• 推动未来在法律NLP的语义解析与数据高效学习方面的研究。

提出的方法

• 该数据集SARA源自美国国内税收法典的条文，聚焦于定义法律术语与条件的规则。
• 每个样本包含一条法定规则（以自然语言表达）和一个事实案例描述，以及一个需基于该规则进行推理的问题。
• 手工编码基于Prolog的符号系统，将每条法定规则表示为逻辑谓词，并对案例执行精确推理。
• 在法律领域文本上微调神经网络NLP模型，并在SARA数据集上评估其蕴含判断与问答任务的表现。
• 在相同测试案例上对比神经网络与符号系统的表现，以隔离推理能力的差异。
• 公开发布该数据集，以支持未来法律NLP与符号推理的研究。

实验结果

研究问题

• RQ1 在未经显著微调的情况下，最先进的神经机器阅读模型能否泛化至税务法中的法定推理任务？
• RQ2 神经网络NLP模型与基于Prolog的符号系统在法定推理任务上的表现有何差异？
• RQ3 当前NLP模型在多大程度上未能捕捉规范性法律语言的逻辑结构？
• RQ4 基于自然语言法规条文构建数据高效且准确的法律推理系统面临哪些关键挑战？
• RQ5 要实现法定推理的高性能，语义解析是否必不可少？还是可通过改进端到端神经模型使其更有效？

主要发现

• 即使在法律领域文本上进行微调，神经网络NLP模型在SARA数据集上的即用性能仍较低，表明其在处理规范性法律规则时存在显著局限性。
• 手工构建的基于Prolog的符号系统在所有测试案例中均达到100%准确率，表明当规则被正确编码时，符号推理可完全解决该任务。
• 神经模型与符号系统之间的性能差距表明，当前NLP方法尚无法稳健地捕捉法定语言的逻辑结构。
• 该数据集表明，尽管法律文本以自然语言书写，却蕴含高度结构化、基于规则的逻辑，这对分布式NLP模型而言难以解析。
• 高质量法律训练数据的稀缺性与高昂成本限制了此类领域中数据密集型神经模型的可扩展性。
• 结果表明，未来进展可能依赖于改进的语义解析技术，或更高效的数据学习机制以支持法律推理。