[论文解读] Argument Generation with Retrieval, Planning, and Realization

Xinyu Hua, Zhe Hu+1 more|arXiv (Cornell University)|Jun 9, 2019

Topic Modeling参考文献 40被引用 5

一句话总结

本文提出 CANDELA，一种两阶段神经框架，通过结合检索增强生成与文本规划及内容实现，生成连贯且内容丰富的反论。该方法在自动评估与人工评估中均优于最先进模型，生成的论点在内容丰富度与流畅性方面超越以往系统，同时通过从1200万篇多样化文章中检索信息，保持了强大的连贯性与风格控制能力。

ABSTRACT

Automatic argument generation is an appealing but challenging task. In this paper, we study the specific problem of counter-argument generation, and present a novel framework, CANDELA. It consists of a powerful retrieval system and a novel two-step generation model, where a text planning decoder first decides on the main talking points and a proper language style for each sentence, then a content realization decoder reflects the decisions and constructs an informative paragraph-level argument. Furthermore, our generation model is empowered by a retrieval system indexed with 12 million articles collected from Wikipedia and popular English news media, which provides access to high-quality content with diversity. Automatic evaluation on a large-scale dataset collected from Reddit shows that our model yields significantly higher BLEU, ROUGE, and METEOR scores than the state-of-the-art and non-trivial comparisons. Human evaluation further indicates that our system arguments are more appropriate for refutation and richer in content.

研究动机与目标

• 为解决生成连贯、信息丰富且风格恰当的段落级反论这一挑战。
• 克服基于检索的方法因生成不连贯、零散的句子而产生的局限，通过引入结构化的内容规划与实现机制。
• 通过在生成过程中整合多样且高质量的来源（包括 Wikipedia 和新闻媒体），提升论点质量。
• 通过在规划阶段进行句级风格预测，实现对论辩话语功能（如让步、对比）的控制。
• 生成比现有自动系统更适切于反驳且内容更丰富的论点，该结论经人工评估验证。

提出的方法

• CANDELA 采用双解码器架构：文本规划解码器负责选择关键论点，并为每句话分配论辩话语功能（如让步、对比）。
• 内容实现解码器基于规划决策生成流畅且连贯的论点，确保逻辑连贯性与语言质量。
• 模型通过一个检索系统增强，该系统索引了来自 Wikipedia 和主要英文新闻媒体的 1200 万篇文章，提供多样化且高质量的事实性与观点性证据。
• 从检索到的段落中提取的关键短语被用作记忆，以指导内容选择与规划，从而增强事实相关性与多样性。
• 该框架在规划解码器中使用多种目标，联合优化内容选择、顺序排列与风格语言选择。
• 训练与评估在大规模 Reddit 论点与反论对数据集上进行，支持与最先进基线模型的稳健比较。

实验结果

研究问题

• RQ1 检索增强的两阶段神经生成框架是否能生成比现有方法更连贯且内容更丰富的反论？
• RQ2 显式文本规划在多大程度上能提升生成反论的连贯性与论辩结构？
• RQ3 整合多样且高质量的来源（超越 Wikipedia）在多大程度上提升生成论点的事实准确性与说服力？
• RQ4 模型能否有效控制风格语言（如让步、对比）以增强论辩功能与说服力？
• RQ5 与人工构建的论点相比，该模型在相关性、内容丰富度与流畅性方面的表现如何？

主要发现

• 在自动评估中，CANDELA 显著优于先前模型与非平凡基线模型，BLEU、ROUGE 与 METEOR 分数均更高。
• 在人工评估中，CANDELA 生成的论点被认为比竞争系统更适切于反驳且内容更丰富。
• 在 39.2% 的人工评估中，CANDELA 生成的论点优于人工编辑内容，优于 Seq2seqAug（34.2%）与先前模型（13.3%）。
• 该模型成功整合了多样化来源，并利用关键词记忆指导规划，生成的论点覆盖了多个相关论点，如“照顾孩子”与“带薪产假”。
• 尽管有所改进，该模型仍存在过度使用否定句的问题，且在复杂论辩结构方面表现不佳，表明在风格控制与话语规划方面仍有改进空间。
• 样本输出显示，CANDELA 生成的论点比基线模型更连贯，后者常出现重复、幻觉或不连贯现象。