[论文解读] Extracting Fairness Policies from Legal Documents

Rashmi Nagpal, Chetna Wadhwa+4 more|arXiv (Cornell University)|Sep 12, 2018

Ethics and Social Impacts of AI参考文献 19被引用 5

一句话总结

本文提出一种基于语义相似度的方法，自动从复杂的法律文件中提取与公平性相关的政策条款，比较了基于经典 WordNet 的方法与现代词向量和句子向量表示方法。GloVe 词向量在性能上显著优于经典基线方法及其他向量方法，尽管其缺乏词义消歧和句子级建模能力，仍表现出优越性能。

ABSTRACT

Machine Learning community is recently exploring the implications of bias and fairness with respect to the AI applications. The definition of fairness for such applications varies based on their domain of application. The policies governing the use of such machine learning system in a given context are defined by the constitutional laws of nations and regulatory policies enforced by the organizations that are involved in the usage. Fairness related laws and policies are often spread across the large documents like constitution, agreements, and organizational regulations. These legal documents have long complex sentences in order to achieve rigorousness and robustness. Automatic extraction of fairness policies, or in general, any specific kind of policies from large legal corpus can be very useful for the study of bias and fairness in the context of AI applications. We attempted to automatically extract fairness policies from publicly available law documents using two approaches based on semantic relatedness. The experiments reveal how classical Wordnet-based similarity and vector-based similarity differ in addressing this task. We have shown that similarity based on word vectors beats the classical approach with a large margin, whereas other vector representations of senses and sentences fail to even match the classical baseline. Further, we have presented thorough error analysis and reasoning to explain the results with appropriate examples from the dataset for deeper insights.

研究动机与目标

• 为解决在长篇复杂法律文件（如宪法和法规汇编）中识别与公平性相关条款的挑战。
• 比较经典自然语言处理技术（基于 WordNet 的相似度）与现代基于向量的方法（GloVe、Sense2Vec、Para2Vec）在公平性政策提取中的表现。
• 评估不同语义相似度方法在捕捉法律文本中特定领域公平性概念方面的有效性。
• 进行详细的错误分析，以理解每种方法在法律文档理解背景下的优势与局限性。
• 为人工智能系统与法律公平性标准合规性的自动化检查提供基础。

提出的方法

• 使用基于 WordNet 的路径相似度，计算候选句子中词语与代表公平性、偏见和歧视的种子词义之间的语义相关性。
• 采用预训练的 GloVe 词向量，通过计算候选句子词向量与种子词的余弦相似度来衡量语义相似度，将句子视为词袋模型。
• 探索 Sense2Vec 以获得上下文感知的词表示，并内置词义消歧功能，其在通用领域语料上进行训练。
• 应用 Para2Vec 以捕捉整个句子的高层次语义表示，旨在建模句子级语义。
• 设定最大相似度得分的阈值，若超过该阈值则将句子分类为公平性政策。
• 对误分类样本进行错误分析，以识别每种方法的失败模式及其在特定领域中的局限性。

实验结果

研究问题

• RQ1 基于经典 WordNet 的语义相似度方法在从法律文件中提取公平性政策方面的有效性如何？
• RQ2 在该特定任务中，现代词向量和句子向量表示方法是否能优于经典 NLP 技术？
• RQ3 为何某些基于向量的方法（如 Sense2Vec 和 Para2Vec）尽管具备理论优势，却表现不佳？
• RQ4 每种方法的关键失败模式是什么，它们与语义粒度和领域不匹配有何关联？
• RQ5 预训练嵌入在法律文本中能多大程度上有效使用，而无需针对法律领域进行微调？

主要发现

• GloVe 词向量在所有方法中表现最佳，显著优于基于经典 WordNet 的基线方法。
• 经典 WordNet 基线方法表现尚可，得益于精确的词义识别和基于路径的相似度计算。
• 尽管 Sense2Vec 具备建模词义的能力，但因预训练语料与法律文本之间的领域差异而表现欠佳。
• Para2Vec 未能捕捉公平性政策的狭窄且特定的语义，因其优化目标是更广泛的语义类别（如情感）。
• 错误分析表明，GloVe 成功的关键在于其对语义模糊性的鲁棒性以及在法律表达方式上的泛化能力，即使缺乏词义消歧。
• 本研究强调，领域不匹配和粗粒度语义捕捉是预训练嵌入在法律 NLP 任务中的主要局限。