[论文解读] Multi-Paragraph Segmentation of Expository Text

Marti A. Hearst|ArXiv.org|Jun 23, 1994

Natural Language Processing Techniques参考文献 3被引用 392

一句话总结

本文提出 TextTiling 算法，通过分析词汇衔接和术语频率分布来检测子主题边界，将说明性文本分割为连贯的多段落语篇单元。该算法在13篇长文本上实现了83%的精确率（precision）和78%的召回率（recall），与人类判断的主子主题转换高度一致，且不依赖句法线索或外部知识库。

ABSTRACT

This paper describes TextTiling, an algorithm for partitioning expository texts into coherent multi-paragraph discourse units which reflect the subtopic structure of the texts. The algorithm uses domain-independent lexical frequency and distribution information to recognize the interactions of multiple simultaneous themes. Two fully-implemented versions of the algorithm are described and shown to produce segmentation that corresponds well to human judgments of the major subtopic boundaries of thirteen lengthy texts.

研究动机与目标

• 开发一种算法，将长篇说明性文本划分为反映其子主题结构的连贯多段落语篇单元。
• 仅使用词汇衔接和分布信息识别子主题边界，不依赖语篇线索、知识库或推理机制。
• 在一组多样化的长篇说明性文本上，以人工标注的子主题边界为基准评估算法性能。
• 探讨仅靠术语重复是否能在子主题分割中优于更复杂的语义或同义词方法。

提出的方法

• TextTiling 使用领域无关的词汇频率和分布数据，检测说明性文本中多个并行主题之间的相互作用。
• 将语篇建模为一系列连续且不重叠的块，受文本类型学中“分段整体”（Piecewise Monolithic）结构的启发。
• 使用两个完全实现的版本：一种是基于术语重叠链接段落的链式算法，另一种是将段落聚类为连贯单元的块相似度算法。
• 通过术语频率和重叠计算连续段落对之间的相似度，识别相似度显著下降的位置作为边界。
• 使用精确率和召回率与人工标注的子主题边界对比评估分割效果。
• 进行参数调优和敏感性分析以评估鲁棒性，结果表明，允许±1段落的边界偏移可显著提升得分。

实验结果

研究问题

• RQ1 仅靠词汇衔接和术语频率是否能可靠识别长篇说明性文本中的子主题边界？
• RQ2 纯粹基于词汇的方法与使用同义词或语义相似度的方法相比表现如何？
• RQ3 当算法结果与真实边界相差一段时，性能下降程度如何，是否可被缓解？
• RQ4 引入外部语义资源（如 WordNet 或 Roget 词典）是否能提升分割准确性？
• RQ5 能否有效整合语篇线索或语义相似度度量以纠正常见的边界错误？

主要发现

• 块相似度算法在13篇长篇说明性文本上实现了83%的精确率和78%的召回率，与人工标注的子主题边界高度一致。
• 当允许1段落的容差时，块相似度算法的召回率显著提升，表明大多数错误位于可识别的边界附近。
• 链式算法性能略逊于块相似度方法，但长期来看差异无统计学显著性。
• 出人意料的是，添加基于同义词的信息（如来自 WordNet 或 Roget 词典）反而降低了性能，表明在此情境下术语重复比语义扩展更可靠。
• 该算法对参数调优仍较敏感，表明需要更鲁棒的公式化方法，可能需引入信息论方法。
• 尽管方法简单，但其性能优于基线模型，为信息检索和自然语言处理任务中的粗粒度文本结构化提供了坚实基础。