[论文解读] Discovering the Rationale of Decisions: Experiments on Aligning Learning and Reasoning

Cor Steging, Silja Renooij+1 more|arXiv (Cornell University)|May 14, 2021

Artificial Intelligence in Law参考文献 27被引用 8

一句话总结

该论文提出了一种模型无关的方法，通过使用专家设计的测试数据集，评估并改进黑箱机器学习模型在法律人工智能中的推理发现能力。结果表明，高准确率并不意味着正确学习了推理过程，且通过针对性的训练数据调整可显著提升推理对齐度，即使在存在例外情况的复杂法律领域亦是如此。

ABSTRACT

In AI and law, systems that are designed for decision support should be explainable when pursuing justice. In order for these systems to be fair and responsible, they should make correct decisions and make them using a sound and transparent rationale. In this paper, we introduce a knowledge-driven method for model-agnostic rationale evaluation using dedicated test cases, similar to unit-testing in professional software development. We apply this new method in a set of machine learning experiments aimed at extracting known knowledge structures from artificial datasets from fictional and non-fictional legal settings. We show that our method allows us to analyze the rationale of black-box machine learning systems by assessing which rationale elements are learned or not. Furthermore, we show that the rationale can be adjusted using tailor-made training data based on the results of the rationale evaluation.

研究动机与目标

• 解决黑箱机器学习模型在法律决策支持系统中可解释性不足的问题。
• 开发一种方法，用于评估模型是否真正学习了正确的决策推理依据，而不仅仅是实现高准确率。
• 证明通过基于推理评估调整训练数据，可提升模型性能。
• 在虚构的、简化的以及现实世界的法律领域（包括荷兰侵权法）中验证该方法。

提出的方法

• 设计专用的测试数据集（类型B），聚焦于推理的特定知识组件，灵感源自软件开发中的单元测试。
• 使用标准机器学习模型（例如，多层感知机）在具有已知底层逻辑规则的人工数据集上进行训练。
• 不仅在通用测试集上评估模型性能，还在针对推理的特定测试集上进行评估，以检测学习到的条件是否存在错位。
• 根据推理评估结果调整训练数据分布，以改善对特定推理要素的学习。
• 将定量准确率指标与针对专用测试案例的模型输出定性分析相结合，以评估推理发现能力。
• 利用领域知识，可能结合贝叶斯网络，将该方法实际应用于测试集构建。

实验结果

研究问题

• RQ1 即使在实现高准确率的情况下，现代神经网络是否能够学习到法律领域决策的完整推理过程？
• RQ2 黑箱模型在整体准确率较高的情况下，有多大程度上未能学习到决策推理中的特定条件？
• RQ3 能否通过基于专家知识和推理评估来定制训练数据，从而改善推理发现？
• RQ4 所提出的方法是否能在虚构和现实世界的法律领域中检测到推理错位？

主要发现

• 在虚构的福利补贴领域，神经网络在标准测试集上的准确率超过98%，但未能学习到推理中的两个关键条件（C₁ 和 C₆）。
• 即使使用更大的训练数据集，C₁ 和 C₆ 的学习失败依然存在，表明该问题并非由数据稀缺引起。
• 通过基于推理评估结果对训练数据进行重加权，网络显著改善了对 C₁ 和 C₆ 的学习，同时保持了高准确率。
• 在该领域的简化版本中，网络更有效地学习了 C₁ 和 C₆（尽管未完全掌握），表明复杂性会影响推理发现能力。
• 在现实世界的荷兰侵权法领域，尽管在通用测试集上准确率达到99%，模型仍未能学习到定义可归责性的独立条件。
• 所提出的推理评估方法成功识别出推理错位，并通过针对性的数据调整提升了模型的透明度与正确性。