[论文解读] Extreme Multi-Label Legal Text Classification: A case study in EU Legislation

Ilias Chalkidis, Manos Fergadiotis+3 more|arXiv (Cornell University)|May 26, 2019

Topic Modeling参考文献 33被引用 22

一句话总结

本文介绍了EURLEX57K，一个包含57,000份欧盟立法文件的大规模数据集，这些文件已使用EuroVoc概念进行标注，适用于极端多标签文本分类。结果表明，带有自注意力和标签级注意力的双向GRU（BIGRU-LWAN）在频繁标签和少样本标签预测中均优于先前的最先进方法，包括基于CNN的标签级注意力模型；此外，零样本变体z-BIGRU-LWAN通过利用标签描述，也在罕见标签上取得了优异表现。

ABSTRACT

We consider the task of Extreme Multi-Label Text Classification (XMTC) in the legal domain. We release a new dataset of 57k legislative documents from EURLEX, the European Union's public document database, annotated with concepts from EUROVOC, a multidisciplinary thesaurus. The dataset is substantially larger than previous EURLEX datasets and suitable for XMTC, few-shot and zero-shot learning. Experimenting with several neural classifiers, we show that BIGRUs with self-attention outperform the current multi-label state-of-the-art methods, which employ label-wise attention. Replacing CNNs with BIGRUs in label-wise attention networks leads to the best overall performance.

研究动机与目标

• 为解决欧盟立法领域中缺乏大规模、公开可用的法律文本数据集以支持极端多标签分类（xMTC）的问题。
• 评估多种神经网络架构（特别是RNN和CNN）在使用新的大规模欧盟立法数据集进行xMTC时的性能。
• 研究在罕见或未见标签情况下的少样本学习与零样本学习在法律文本分类中的有效性。
• 比较注意力机制（包括自注意力和标签级注意力）在法律文档标注中的表现。
• 通过可视化注意力热力图，探索注意力机制在法律文本分类中的可解释性。

提出的方法

• 作者发布了EURLEX57K，一个包含57,000份来自EUR-LEX的英文立法文件的数据集，使用EuroVoc术语表进行标注，涵盖超过7,000个概念，但存在严重的类别不平衡问题。
• 他们评估了多种神经网络架构：带有自注意力的双向GRU（BIGRU-ATT）、分层注意力网络（HAN）以及使用CNN和BIGRU编码器的标签级注意力网络（LWAN）。
• 所提出的BIGRU-LWAN将最先进模型CNN-LWAN中的CNN编码器替换为双向GRU，从而实现更优的序列建模并提升性能。
• 对于零样本学习，他们通过将Rios和Kavuluru（2018b）提出的z-CNN-LWAN模型中的CNN替换为BIGRU，构建了z-BIGRU-LWAN，该模型在训练过程中不更新标签描述，从而利用标签描述实现零样本预测。
• 他们使用注意力热力图可视化对预测贡献最大的词语，提升模型可解释性，并支持法律NLP中的决策过程。
• 集成模型结合了BIGRU-LWAN（用于频繁标签和少样本标签）与z-BIGRU-LWAN（用于零样本标签），以提升在各类标签上的整体鲁棒性。

实验结果

研究问题

• RQ1 在极端多标签法律文本分类中，带有自注意力的双向GRU是否能优于基于CNN的模型？
• RQ2 在大规模法律文本数据集中，将标签级注意力网络中的CNN编码器替换为双向GRU是否能提升性能？
• RQ3 当标签在训练期间罕见或未见时，零样本学习方法在法律文本分类中的有效性如何？
• RQ4 基于GRU的模型生成的注意力热力图是否能提供可解释且有用的预测证据，以支持法律文本分类？
• RQ5 在法律文本标注中，引入标签描述是否能提升零样本泛化能力？这种优势是否会随模型架构的变化而增强？

主要发现

• BIGRU-LWAN通过将CNN-LWAN中的CNN替换为双向GRU，在EURLEX57K数据集上对所有标签类型均取得了最佳整体性能。
• BIGRU-ATT优于原始的CNN-LWAN模型，表明GRU结合自注意力是法律xMTC任务的强基线。
• z-BIGRU-LWAN显著优于其他零样本方法，在零样本标签上的R@5达到0.269，而其他模型的R@5为零。
• BIGRU-LWAN与z-BIGRU-LWAN的集成模型实现了最佳整体性能，尽管由于零样本标签在测试集中数量稀少（163个），性能提升有限。
• HAN和最大池化聚合器（max-HSS、lw-HAN）表现欠佳，表明在该上下文中，文档章节级结构对xMTC无益处。
• BIGRU-LWAN生成的注意力热力图提供多色彩、标签特定的可视化效果，有助于识别每个预测标签的相关词语，从而增强模型的可解释性。