[论文解读] Learning Recursive Segments for Discourse Parsing

Stergos Afantenos, Pascal Denis+2 more|arXiv (Cornell University)|Mar 28, 2010

Natural Language Processing Techniques参考文献 15被引用 27

一句话总结

本文提出一种三分类分类方法，并结合事后修复启发式算法，用于在法语文本中学习递归话语片段，实现对线性分割之外的嵌套基本话语单元（EDU）的识别。在47份经验证的Annodis语料库文档上进行评估，该方法在EDU检测任务上取得了73%的F1值，证明了在低资源环境下基于SDRT的话语解析方法的可行性。

ABSTRACT

Automatically detecting discourse segments is an important preliminary step towards full discourse parsing. Previous research on discourse segmentation have relied on the assumption that elementary discourse units (EDUs) in a document always form a linear sequence (i.e., they can never be nested). Unfortunately, this assumption turns out to be too strong, for some theories of discourse like SDRT allows for nested discourse units. In this paper, we present a simple approach to discourse segmentation that is able to produce nested EDUs. Our approach builds on standard multi-class classification techniques combined with a simple repairing heuristic that enforces global coherence. Our system was developed and evaluated on the first round of annotations provided by the French Annodis project (an ongoing effort to create a discourse bank for French). Cross-validated on only 47 documents (1,445 EDUs), our system achieves encouraging performance results with an F-score of 73% for finding EDUs.

研究动机与目标

• 为解决先前话语分割系统仅假设线性EDU序列的局限性，该假设在SDRT等允许嵌套的理论中不成立。
• 开发一种能够检测法语文本中嵌套EDU的方法，以支持SDRT框架下更准确的话语解析。
• 在包含嵌套单元的小规模人工验证法语文本语料库上，评估基于机器学习的分割系统的性能。
• 探究事后修复启发式算法是否能在不降低精确率的前提下，提升整体分割的一致性与F1值。
• 评估该方法在更多标注文档可用时的可扩展性与学习曲线。

提出的方法

• 该系统使用多分类分类器，将每个词边界分配至三类之一：左（EDU起始）、右（EDU结束）或两者（同时开始与结束，表示单字词EDU）。
• 事后修复启发式算法通过修复不平衡或格式错误的分割，强制实现全局括号一致性，确保所有EDU均被正确嵌套与闭合。
• 分类器基于包括句法、词汇与话语线索在内的特征集进行训练，使用47份经验证法语文本子集进行十折交叉验证。
• 该方法受到CoNLL-2001共享任务中分句边界识别（CBI）技术的启发，经调整以处理话语层级的嵌套结构。
• 通过逐步增加训练集规模（从5至45份文档）计算学习曲线，以评估数据效率与性能趋势。
• 最终评估通过对比启用与禁用事后处理的性能，以分离修复启发式算法对召回率与F1值的影响。

实验结果

研究问题

• RQ1 简单的三分类分类模型是否能有效检测法语文本中的嵌套EDU，突破线性分割的假设？
• RQ2 在存在嵌套结构的情况下，事后修复启发式算法在多大程度上提升了分割的一致性与整体F1值？
• RQ3 在当前语料库规模有限（47份文档）的前提下，性能如何随训练数据增加而变化？
• RQ4 所提出的方法是否足够稳健，可作为人类话语标注的预处理工具，从而可能减少标注时间？
• RQ5 在处理罕见或复杂EDU类型时，递归话语分割中精确率与召回率之间的权衡如何？

主要发现

• 在应用事后修复启发式算法后，EDU检测的F1值达到73.3%，相比未经处理的分类器，召回率显著提升了29.2个百分点。
• 事后处理步骤使结构良好分割的比例从65%提升至98%，充分证明其在强制实现全局一致性方面的强大效果。
• 对于‘两者’类别（单字词EDU），事后处理后召回率提升至68.4%，尽管精确率略有下降，表明在覆盖率与准确性之间存在权衡。
• 学习曲线显示，从5至30份文档性能稳步提升，30至40份文档间趋于平稳，表明在中等数据规模后收益递减。
• 表现最佳的模型采用三分类设置并结合事后处理，其F1值与分割质量均优于二分类基线模型。
• 尽管训练数据有限（47份文档中共1,445个EDU），该系统性能已接近相关任务（如分句边界识别）的最先进水平。