[论文解读] Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders

Yansen Wang, Chenyi Liu+2 more|arXiv (Cornell University)|May 13, 2018

Topic Modeling参考文献 27被引用 7

一句话总结

本文提出类型解码器——软类型解码器（STD）与硬类型解码器（HTD），通过建模三类词：疑问词、主题词与普通词，在开放域对话系统中生成多样化且主题相关的提问。该方法通过显式控制提问模式与主题转换，提升了问题质量，在生成更具意义与互动性的问题方面优于当前最先进基线模型。

ABSTRACT

Asking good questions in large-scale, open-domain conversational systems is quite significant yet rather untouched. This task, substantially different from traditional question generation, requires to question not only with various patterns but also on diverse and relevant topics. We observe that a good question is a natural composition of {\it interrogatives}, {\it topic words}, and {\it ordinary words}. Interrogatives lexicalize the pattern of questioning, topic words address the key information for topic transition in dialogue, and ordinary words play syntactical and grammatical roles in making a natural sentence. We devise two typed decoders ( extit{soft typed decoder} and extit{hard typed decoder}) in which a type distribution over the three types is estimated and used to modulate the final generation distribution. Extensive experiments show that the typed decoders outperform state-of-the-art baselines and can generate more meaningful questions.

研究动机与目标

• 为解决开放域对话系统中问题生成的空白，现有方法多集中于答案感知任务，而非主动、多样化主题的提问。
• 将优质问题的组合特性建模为疑问词（提问模式）、主题词（主题转换）与普通词（语法结构）的混合体。
• 开发能显式控制生成过程中词类型分布的解码器，以增强问题的多样性与相关性。
• 使对话系统能够通过引入新颖但相关的主题，生成能激发更深层次、更持久互动的问题。

提出的方法

• 模型将词分类为三类：疑问词（如 who, what）、主题词（如 rabbit, dinner）与普通词（如 you, like），使用基于点互信息（PMI）的预训练主题词检测方法。
• 软类型解码器（STD）估计词类型分布，并将其作为类型特异性生成头的加权混合，以生成最终的词分布。
• 硬类型解码器（HTD）在每个解码步骤使用 Gumbel-softmax 抽样离散词类型，并据此调节生成分布。
• 词类型分布通过独立的类型预测头估计，支持使用交叉熵损失进行端到端训练。
• 该框架在对话式问题生成数据集上进行训练，解码过程结合类型感知注意力与生成机制。
• 两种解码器在自动评估与人工评估指标（包括 BLEU、ROUGE 及问题质量与主题相关性的人工标注）上与当前最先进基线进行对比评估。

实验结果

研究问题

• RQ1 神经问题生成模型如何被调整以在开放域对话系统中生成多样化且主题相关的提问，而非仅对输入进行改写？
• RQ2 对词类型（疑问词、主题词、普通词）的建模在多大程度上能提升生成问题的多样性与相关性？
• RQ3 在解码过程中对词类型分布的显式控制是否能带来更好的问题质量与更有效的对话持续性？
• RQ4 在生成质量与鲁棒性方面，软类型建模与硬类型建模策略有何差异？

主要发现

• 所提出的类型解码器，尤其是 HTD，在 BLEU 与 ROUGE 等自动指标上优于当前最先进基线，表明生成问题的流畅性与相关性得到提升。
• 人工评估显示，HTD 生成的问题显著更具意义与互动性，主题相关性更高，提问模式更优。
• 错误分析表明，主要失败模式为缺失主题词（STD 为 34%，HTD 为 29%）与错误的主题选择（STD 为 34%，HTD 为 39%），表明主题词预测仍具挑战。
• 可视化结果证实，模型能有效学习将正确类型分配至对应位置——例如，普通词位于句首，主题词位于句中，疑问词位于句末，展现出有效的类型控制能力。
• 该方法成功生成不仅为改写，更引入新颖且上下文相关主题的问题，从而增强对话的持续性。
• 类型解码器框架具备可泛化性，适用于其他可识别词语义类型的生成任务，如情感文本生成。