[论文解读] A Hybrid Word-Character Model for Abstractive Summarization.

Chieh-Teng Chang, Chi-Chia Huang+1 more|arXiv (Cornell University)|Feb 27, 2018

Topic Modeling参考文献 28被引用 8

一句话总结

本文提出HWC（混合词-字符）模型，一种新颖的模型，通过整合基于词和基于字符的表征，以提升中文抽象摘要生成性能。通过保留词汇的语义丰富性并利用字符缓解未登录词问题，HWC在LCSTS数据集上实现了最先进性能，相比先前方法至少提升8个ROUGE分数点。

ABSTRACT

Abstractive summarization is the popular research topic nowadays. Due to the difference in language property, Chinese summarization also gains lots of attention. Most of studies use character-based representation instead of word-based to keep out the error introduced by word segmentation and OOV problem. However, we believe that word-based representation can capture the semantics of the articles more accurately. We proposed a hybrid word-character model preserves the advantage of both word-based and character-based representations. Our method also enables us to use larger word vocabulary size than anyone else. We call this new method HWC (Hybrid Word-Character). We conduct the experiments on LCSTS Chinese summarization dataset, and out-perform the current state-of-the-art by at least 8 ROUGE points.

研究动机与目标

• 解决纯基于字符的模型在中文抽象摘要生成中捕捉语义意义的局限性。
• 利用词级别表征的语义丰富性，同时减轻分词错误和OOV问题。
• 使端到端摘要模型中可使用比以往更大的词表规模。
• 通过结合词和字符特征，提升低资源或形态复杂的语言（如中文）的摘要生成性能。

提出的方法

• 在统一的编码器-解码器框架中整合词级别和字符级别表征，用于抽象摘要生成。
• 使用词嵌入捕捉高层语义信息，同时利用字符级别编码器建模子词形态并处理OOV词。
• 通过拼接或注意力机制结合词和字符表征，以丰富上下文表征。
• 设计联合优化词级别语义与字符级别鲁棒性的训练目标。
• 通过字符级别监督扩展词表规模，减少数据稀疏性，突破以往限制。
• 在序列到序列模型中应用混合表征，结合pointer-generator或覆盖机制，以提升摘要生成质量。

实验结果

研究问题

• RQ1 结合基于词和基于字符的表征是否能提升中文抽象摘要生成性能？
• RQ2 与纯基于字符的模型相比，所提出的混合模型是否能减轻分词错误和OOV问题的影响？
• RQ3 该模型在不降低性能的前提下，能将词表规模扩展到何种程度？
• RQ4 HWC模型在标准中文摘要基准上的表现与最先进方法相比如何？

主要发现

• HWC模型在LCSTS基准上达到最先进性能，相比先前方法至少提升8个ROUGE分数点。
• 词级别语义与字符级别鲁棒性的结合，使摘要生成更准确且更流畅。
• 该模型成功支持比以往方法更大的词表规模，提升了语义覆盖范围。
• 混合架构有效减轻了中文文本中分词错误和OOV词的负面影响。
• 该方法在多个ROUGE指标上均表现出一致增益，表明摘要质量具有鲁棒性。