[论文解读] Computer-Assisted Creation of Boolean Search Rules for Text Classification in the Legal Domain

Hannes Westermann, Jaromír Šavelka+3 more|arXiv (Cornell University)|Dec 10, 2021

Topic Modeling被引用 4

一句话总结

本文提出CASE系统，一种计算机辅助工具，使法律领域专家能够通过利用词共现统计和交互式反馈，迭代地创建可解释的布尔搜索规则用于文本分类。该方法在小样本数据集上表现出与机器学习模型相当的性能，同时在可解释性、规则紧凑性和控制力方面具有显著优势，尤其适用于高法律相关性的场景。

ABSTRACT

In this paper, we present a method of building strong, explainable classifiers in the form of Boolean search rules. We developed an interactive environment called CASE (Computer Assisted Semantic Exploration) which exploits word co-occurrence to guide human annotators in selection of relevant search terms. The system seamlessly facilitates iterative evaluation and improvement of the classification rules. The process enables the human annotators to leverage the benefits of statistical information while incorporating their expert intuition into the creation of such rules. We evaluate classifiers created with our CASE system on 4 datasets, and compare the results to machine learning methods, including SKOPE rules, Random forest, Support Vector Machine, and fastText classifiers. The results drive the discussion on trade-offs between superior compactness, simplicity, and intuitiveness of the Boolean search rules versus the better performance of state-of-the-art machine learning models for text classification.

研究动机与目标

• 解决在标注数据有限的法律领域中构建准确、可解释的文本分类器的挑战。
• 减少对缺乏透明度的复杂黑箱机器学习模型的依赖，这些模型在法律决策场景中缺乏可解释性。
• 赋能法律专家在规则创建过程中融入领域直觉，同时受益于统计指导。
• 开发一种支持迭代式、交互式布尔搜索规则优化的系统，并提供实时评估。
• 评估人工参与的布尔规则是否能在保持更高可解释性的同时，实现与最先进机器学习模型相当的性能。

提出的方法

• CASE系统利用词共现统计，指导标注者选择布尔搜索规则中的相关术语。
• 在规则构建过程中提供实时的精确率和召回率反馈，支持迭代优化。
• 用户基于专家直觉和统计洞察，使用逻辑运算符（AND、OR、NOT）构建规则。
• 系统支持对数据集中术语相关性和语义关系的交互式探索。
• 规则持续评估，使用户能够基于即时性能反馈进行优化。
• 该方法将人类领域专业知识与计算辅助相结合，以提升规则质量与泛化能力。

实验结果

研究问题

• RQ1 计算机辅助系统能否帮助法律专家在极少标注数据下创建高精度布尔搜索规则？
• RQ2 专家手工创建的布尔规则在法律文本分类任务中的性能与最先进机器学习模型相比如何？
• RQ3 与黑箱机器学习模型相比，使用CASE创建的布尔规则在可解释性和可理解性方面优势有多大？
• RQ4 整合统计共现数据是否能提升人工构建的法律搜索规则的质量与相关性？
• RQ5 在计算反馈引导下，人类直觉在多大程度上能促成更具泛化能力与法律意义的分类规则？

主要发现

• 使用CASE创建的布尔搜索规则在四个法律文本分类数据集上的表现与随机森林、SVM和fastText等机器学习模型相比，性能差距不大。
• CASE规则在'prohibit'和'definition'等关键法律术语上的精确率和召回率更高，显示出更强的法律相关性。
• 与复杂机器学习模型相比，这些规则更加紧凑且易于解释，为法律专业人士提供了更优的可解释性。
• 该系统使用户能够在规则开发过程中检测到分类错误，例如在商业秘密数据集中发现一个误标术语。
• 用户在规则构建过程中保持完全控制权，能够优先考虑具有法律意义的术语，避免过度拟合数据集特有的噪声。
• 结果表明，在低数据量、高可解释性要求的法律应用场景中，人工参与的布尔规则可作为机器学习模型的可行替代方案。