[论文解读] Attributed Rhetorical Structure Grammar for Domain Text Summarization

Ruqian Lu, Shengluan Hou+4 more|arXiv (Cornell University)|Sep 3, 2019

Topic Modeling参考文献 51被引用 8

一句话总结

本文提出了一种属性修辞结构语法（ARSG），该语法整合了领域知识、修辞结构理论（RST）和属性语法，以实现知识驱动的、基于语法的文本摘要。通过将领域关系建模为非终结符，修辞关系作为这些关系的属性，ARSG 支持从有限的训练数据中学习，能够在低资源领域实现有效的摘要生成，并允许在最小重训的情况下实现模型跨领域的迁移。

ABSTRACT

This paper presents a new approach of automatic text summarization which combines domain oriented text analysis (DoTA) and rhetorical structure theory (RST) in a grammar form: the attributed rhetorical structure grammar (ARSG), where the non-terminal symbols are domain keywords, called domain relations, while the rhetorical relations serve as attributes. We developed machine learning algorithms for learning such a grammar from a corpus of sample domain texts, as well as parsing algorithms for the learned grammar, together with adjustable text summarization algorithms for generating domain specific summaries. Our practical experiments have shown that with support of domain knowledge the drawback of missing very large training data set can be effectively compensated. We have also shown that the knowledge based approach may be made more powerful by introducing grammar parsing and RST as inference engine. For checking the feasibility of model transfer, we introduced a technique for mapping a grammar from one domain to others with acceptable cost. We have also made a comprehensive comparison of our approach with some others.

研究动机与目标

• 解决特定领域文本摘要中标签训练数据有限的挑战，特别是针对如专业中文文本等低资源领域。
• 通过整合结构化领域知识和话语分析，克服纯数据驱动方法的局限性。
• 利用修辞结构理论（RST）开发基于语法的推理引擎，以提升摘要质量，超越基于词汇连贯性的方法。
• 通过映射语法而非从头开始重新训练，实现在不同领域之间的高效模型迁移。
• 构建一个可扩展、可调节的摘要系统，通过统一框架同时利用连贯性（RST）和连贯性（词汇链）

提出的方法

• 定义一种属性修辞结构语法（ARSG），其中非终结符表示领域关系（如“生产”、“输出”），修辞关系（如“原因”、“详述”）作为这些关系的属性。
• 采用自下而上、基于 precedential 的解析策略，通过机器学习从少量特定领域的训练文本中学习概率规则。
• 将 RST 作为推理引擎，通过识别核（核心）和附加（支持）话语单元来指导摘要生成，基于修辞关系。
• 将传统词汇链转化为“词汇核心”，以更好地与领域概念对齐，提升连贯性建模效果。
• 实施一种转导技术，通过对齐特定领域概念并保留结构规则，将一种领域（如 WET）的语法映射到另一种领域（如 ID）。
• 设计一种可调节的摘要算法，利用基于 RST 的解析生成长度和重点可调的摘要。

实验结果

研究问题

• RQ1 一种整合领域知识和 RST 的基于语法的方法是否能提升低资源领域中的摘要性能？
• RQ2 ARSG 在补偿特定领域摘要中大规模训练数据缺乏方面有多有效？
• RQ3 在不完全重新训练的情况下，ARSG 模型在不同领域之间的迁移程度如何？
• RQ4 将基于 RST 的连贯性建模与基于词汇核心的连贯性建模相结合，是否能提升摘要质量？
• RQ5 所提出的模型迁移技术是否能降低在新应用领域中构建特定领域摘要器的成本？

主要发现

• 即使训练数据有限，ARSG 方法在摘要精确度（ROUGE-2）方面表现优异，优于抽取式基线方法如 cheng2016neural 和基于图的方法。
• 通过语法映射实现的模型迁移将构建新领域模型的工作量减少至原始训练成本的约 1/5，如实验 8 和表 8 所示。
• RST 与词汇核心的结合通过整合自上而下的连贯性与自下而上的连贯性，提升了摘要的流畅性与信息量。
• 该方法在领域迁移方面表现出强可行性：在 WET（天气）领域训练的语法可有效适配至 ID（工业发展）领域，且性能可接受。
• 在 DUC2002 数据集上，ARSG 框架的 ROUGE 得分优于传统基于图的方法和神经网络基线，尤其在训练数据稀缺时表现更优。
• 该框架支持可调节摘要，通过基于 RST 的解析和基于属性的过滤，可控制摘要的长度和重点。