[论文解读] IITP in COLIEE@ICAIL 2019: Legal Information Retrieval using BM25 and BERT

Baban Gain, Dibyanayan Bandyopadhyay+2 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 6被引用 9

一句话总结

本论文提出了一种混合方法，结合BM25、tf-idf和BERT，用于COLIEE 2019共享任务中的法律信息检索与蕴含任务。作者利用经过XGBoost微调的BERT嵌入，在二元蕴含分类任务（任务4）中取得了59.18%的准确率，展示了在法律案例检索、蕴含检测和成文法问答四个子任务中均表现出色的性能。

ABSTRACT

Natural Language Processing (NLP) and Information Retrieval (IR) in the judicial domain is an essential task. With the advent of availability domain-specific data in electronic form and aid of different Artificial intelligence (AI) technologies, automated language processing becomes more comfortable, and hence it becomes feasible for researchers and developers to provide various automated tools to the legal community to reduce human burden. The Competition on Legal Information Extraction/Entailment (COLIEE-2019) run in association with the International Conference on Artificial Intelligence and Law (ICAIL)-2019 has come up with few challenging tasks. The shared defined four sub-tasks (i.e. Task1, Task2, Task3 and Task4), which will be able to provide few automated systems to the judicial system. The paper presents our working note on the experiments carried out as a part of our participation in all the sub-tasks defined in this shared task. We make use of different Information Retrieval(IR) and deep learning based approaches to tackle these problems. We obtain encouraging results in all these four sub-tasks.

研究动机与目标

• 为通过自然语言处理与人工智能技术自动化司法决策中的法律信息检索与蕴含分析提供解决方案。
• 为COLIEE 2019共享任务中的四个独立子任务（案例检索、案例蕴含、成文法问答）开发并评估检索与分类系统。
• 比较传统信息检索方法（BM25、tf-idf、Doc2Vec）与深度学习模型（BERT）在法律文本理解任务中的表现。
• 提升在识别法律推理中相关判例法与成文法条文方面的效率与准确性。

提出的方法

• 采用BM25基于查询-案例相似性实现相关法律案例的密集检索，使用词频与逆文档频率加权。
• 使用scikit-learn的TfidfVectorizer对文档进行tf-idf向量化表示，并计算相似度得分以支持检索任务。
• 使用Doc2Vec生成整个法律文档的密集向量表示，从而实现语义相似度计算。
• 对BERT-Base-Uncased进行微调，用于任务4中的句子对分类，提取[CLS]标记的嵌入作为输入特征。
• 将BERT嵌入与XGBoost结合，用于任务4中蕴含关系（YES/NO）的二元分类，缓解高维输入导致的过拟合问题。
• 在改进的BM25和tf-idf模型中，每项查询检索前100篇文档，以提高召回率，尤其在任务1和任务3中表现显著。

实验结果

研究问题

• RQ1 传统IR方法（如BM25和tf-idf）在支持司法决策的法律案例检索中效果如何？
• RQ2 基于BERT的模型是否能在法律蕴含与问答任务中超越经典IR技术？
• RQ3 将BERT嵌入与梯度提升分类器结合，能在多大程度上提升法律文本分类的性能？
• RQ4 不同的检索策略（如top-k过滤）对法律信息检索中的精确率与召回率有何影响？

主要发现

• iitpBM25-L模型在任务3中取得了0.5409的最高平均平均精度（MAP），在法律问答任务中优于其他模型。
• iitpbert模型在任务4的蕴含分类基准中取得了59.18%的准确率，证明了BERT与XGBoost结合在法律NLP任务中的有效性。
• 在任务1和任务2中，基于BM25的模型优于Doc2Vec和tf-idf，其中iitpBM25在任务2中取得了0.6966的F1值。
• 改进的BM25和tf-idf模型（iitpBM25-L与iitptfidf-L）通过分别检索出109篇和108篇正确条文（共121篇），显著提升了召回率。
• 尽管BERT嵌入维度较高（768维），XGBoost的泛化性能仍优于使用全连接层的端到端微调，验证集准确率更高。