[论文解读] Legal Question Answering using Ranking SVM and Deep Convolutional Neural Network

Phong-Khac Do, Huy Tien Nguyen+3 more|arXiv (Cornell University)|Mar 16, 2017

Topic Modeling参考文献 12被引用 41

一句话总结

本文提出了一种结合排序SVM用于法律信息检索与深度卷积神经网络（CNN）用于答案分类的法律问答系统，采用段落级分割与特征集成。通过优化特征选择、参数初始化及投票策略，该系统在COLIEE 2016基准测试中表现优于基线模型，第二阶段F1得分为0.4857，第三阶段为0.4737。

ABSTRACT

This paper presents a study of employing Ranking SVM and Convolutional Neural Network for two missions: legal information retrieval and question answering in the Competition on Legal Information Extraction/Entailment. For the first task, our proposed model used a triple of features (LSI, Manhattan, Jaccard), and is based on paragraph level instead of article level as in previous studies. In fact, each single-paragraph article corresponds to a particular paragraph in a huge multiple-paragraph article. For the legal question answering task, additional statistical features from information retrieval task integrated into Convolutional Neural Network contribute to higher accuracy.

研究动机与目标

• 利用机器学习模型提升日本民法典中的法律信息检索与问答性能。
• 探究特征选择与段落级分割对检索与问答性能的影响。
• 通过整合信息检索任务中的统计特征并优化参数初始化，提升基于CNN的问答性能。
• 评估结合信息检索与问答模型得分的投票策略在提升分类性能方面的有效性。
• 分析深度学习在小规模法律数据集中的局限性，并探讨手工特征的价值。

提出的方法

• 系统采用两阶段流水线框架：第一阶段通过排序SVM实现法律信息检索（LIR），第二阶段通过卷积神经网络（CNN）实现法律问答（LQA）。
• 在LIR阶段，模型采用LSI、曼哈顿距离与杰卡德相似度三元组特征，计算查询与条文之间的相关性得分。
• 将法律条文按单一段落单位进行分割，以提升检索精度，实现与查询的更细粒度匹配。
• 在LQA阶段，CNN在查询-条文对上进行训练，并引入信息检索任务中的附加统计特征，以增强答案分类性能。
• 通过投票机制结合LIR与LQA模型的得分，将查询-条文对分类为“YES”或“NO”。
• 对CNN的参数初始化进行了细致调优，因为性能对初始值高度敏感。

实验结果

研究问题

• RQ1 不同特征集对基于排序SVM的法律信息检索性能有何影响？
• RQ2 将多段落法律条文分割为单一段落单位是否能提升检索准确率？
• RQ3 将信息检索任务中提取的特征整合进CNN模型，对法律问答性能有何影响？
• RQ4 参数初始化在多大程度上影响CNN在法律问答中的准确率？
• RQ5 结合信息检索与问答模型得分的投票策略能否提升整体分类性能？

主要发现

• 结合LSI、曼哈顿距离与杰卡德相似度的特征集在基于排序SVM的法律信息检索任务中表现最佳。
• 将法律条文分割为单一段落单位显著提升了检索准确率，实现了查询与相关内容更精确的匹配。
• CNN模型对初始参数值表现出高度敏感性，精心的初始化显著提升了问答准确率。
• 将信息检索任务中的统计特征整合进CNN模型后，其性能得到提升，证明了跨任务特征共享的价值。
• 结合信息检索与问答模型得分的投票策略优于单一模型，尤其在减少信息检索排序不准确导致的错误方面表现突出。
• 尽管使用了深度学习，模型在小规模的COLIEE 2016数据集上性能仍受限，表明在低数据环境下，手工特征与基于规则的方法依然有效。