[论文解读] Document-Level Definition Detection in Scholarly Documents: Existing Models, Error Analyses, and Future Directions

Dongyeop Kang, Andrew Head+4 more|arXiv (Cornell University)|Oct 11, 2020

Topic Modeling参考文献 27被引用 4

一句话总结

该论文提出 HEDDE x，一种新型文档级定义检测系统，通过整合句法特征、Transformer 编码器和启发式过滤器，显著优于当前最先进模型。在文档级评估中，其 F1 分数较领先系统提升 14.4 个百分点，凸显了文档结构感知建模在提升学术文档处理中召回率方面的重要性。

ABSTRACT

The task of definition detection is important for scholarly papers, because papers often make use of technical terminology that may be unfamiliar to readers. Despite prior work on definition detection, current approaches are far from being accurate enough to use in real-world applications. In this paper, we first perform in-depth error analysis of the current best performing definition detection system and discover major causes of errors. Based on this analysis, we develop a new definition detection system, HEDDEx, that utilizes syntactic features, transformer encoders, and heuristic filters, and evaluate it on a standard sentence-level benchmark. Because current benchmarks evaluate randomly sampled sentences, we propose an alternative evaluation that assesses every sentence within a document. This allows for evaluating recall in addition to precision. HEDDEx outperforms the leading system on both the sentence-level and the document-level tasks, by 12.7 F1 points and 14.4 F1 points, respectively. We note that performance on the high-recall document-level task is much lower than in the standard evaluation approach, due to the necessity of incorporation of document structure as features. We discuss remaining challenges in document-level definition detection, ideas for improvements, and potential issues for the development of reading aid applications.

研究动机与目标

• 解决当前模型仅在随机采样的句子上进行评估所导致的学术文档中高召回率定义检测的空白。
• 识别并分析当前最先进定义检测模型中的关键错误来源，以指导改进。
• 开发一种新系统 HEDDE x，通过引入句法特征、Transformer 编码器和启发式过滤器，提升精度与召回率。
• 提出并评估一个全新的文档级定义检测基准，该基准评估文档中所有句子，实现全召回评估。
• 探索在学术论文中检测数学符号、区分定义与描述性文本，以及支持实际阅读辅助应用的挑战。

提出的方法

• 对当前最先进模型进行深入错误分析，识别其失效模式，包括对数学符号的误分类，以及对定义与描述之间的混淆。
• 通过在最先进模型基础上扩展句法特征（如依存句法分析）、基于 BERT 的 Transformer 编码器，以及基于规则的启发式过滤器，设计 HEDDE x。
• 在标准句子级基准上评估 HEDDE x，并引入一种新的文档级评估协议，通过评估文档中每一句话来衡量召回率。
• 利用文档级特征（如章节结构和位置上下文）提升对首次出现术语的检测能力。
• 应用数据增强和使用 SciBERT 等模型进行领域特定微调，以提升对罕见或技术性术语的覆盖能力。
• 利用 Vanetik 等人（2020）提供的带标注数学定义数据集，增强符号识别的训练数据。

实验结果

研究问题

• RQ1 当前最先进定义检测模型在应用于学术文档时，其主要失败原因是什么？
• RQ2 与标准句子级采样相比，文档级评估（即评估文档中所有句子）如何揭示出未暴露的局限性？
• RQ3 句法特征、Transformer 编码器和启发式过滤器在句子级与文档级任务中，能在多大程度上提升定义检测性能？
• RQ4 在学术论文中检测数学符号以及区分定义与描述性文本仍面临哪些挑战？
• RQ5 如何使定义检测系统适应实际阅读辅助应用，实现高精度与高召回？

主要发现

• 在标准句子级基准上，HEDDE x 比领先系统高出 12.7 F1 分，显著提升了精度与召回率。
• 在所提出的文档级评估中，HEDDE x 相较于最先进方法实现 14.4 F1 分的提升，凸显了文档结构感知建模的重要性。
• 错误分析显示，数学符号检测是主要薄弱环节，训练数据中覆盖不足导致对 $s^{task}$ 等符号泛化能力差。
• 区分定义与描述仍是关键挑战，因为两者在表面模式上相似，但在语义和结构上存在根本差异。
• 文档级特征（如章节位置和术语首次出现模式）显著提升检测效果，尤其在首次出现术语的识别上。
• 本研究指出未来系统亟需更完善的标注数据覆盖，包括带标注的数学定义，以及对定义类型（如公式化、缩写型）的更好分类机制。