[论文解读] Stylistic Dialogue Generation via Information-Guided Reinforcement Learning Strategy

Yixuan Su, Deng Cai+5 more|arXiv (Cornell University)|Apr 5, 2020

Topic Modeling参考文献 32被引用 7

一句话总结

该论文提出了一种信息引导的强化学习（IG-RL）方法，用于风格化对话生成，通过使用点互信息（PMI）将词汇分离为风格化词汇和中性词汇，从而在风格表达与内容质量之间取得平衡。在训练过程中，模型被约束以保留中性词汇，同时自由探索风格化词汇以最大化风格分类器的奖励，从而在两个数据集上生成的响应质量更高、风格更一致，优于强基线模型。

ABSTRACT

Stylistic response generation is crucial for building an engaging dialogue system for industrial use. While it has attracted much research interest, existing methods often generate stylistic responses at the cost of the content quality (relevance and fluency). To enable better balance between the content quality and the style, we introduce a new training strategy, know as Information-Guided Reinforcement Learning (IG-RL). In IG-RL, a training model is encouraged to explore stylistic expressions while being constrained to maintain its content quality. This is achieved by adopting reinforcement learning strategy with statistical style information guidance for quality-preserving explorations. Experiments on two datasets show that the proposed approach outperforms several strong baselines in terms of the overall response performance.

研究动机与目标

• 解决对话生成中风格表达与内容质量之间的权衡问题。
• 防止强化学习模型为追求流畅性和相关性而利用简单化的风格模式。
• 开发一种训练策略，在保持响应质量的同时，实现对风格表达的有效探索。
• 构建一个大规模、性别特定的对话数据集，用于风格化响应生成的基准测试。
• 证明信息引导的探索能够生成更鲁棒、更符合人类审美的风格化响应。

提出的方法

• 该方法使用点互信息（PMI）根据词汇与目标风格的关联性，将词汇分类为风格化或中性词汇。
• 在训练过程中，模型被约束以保留中性词汇所在位置的标记，从而确保内容质量得到保持。
• 在风格化词汇所在位置，模型被允许自由探索词汇表，以最大化来自预训练风格分类器的奖励。
• 应用强化学习，利用风格分类器提供的奖励信号，以优化风格准确性和上下文连贯性。
• 模型端到端进行训练，并在推理阶段生成风格化响应，无需外部风格信号。
• 构建了一个包含超过450万对样本的新型大规模性别特定对话数据集，以支持评估和未来研究。

实验结果

研究问题

• RQ1 强化学习框架能否有效平衡对话生成中的风格表达与内容质量？
• RQ2 模型如何避免利用琐碎的风格模式（例如重复使用“我喜欢他”）而同时保持高风格得分？
• RQ3 基于PMI的词汇分类在多大程度上提升了风格化响应的质量与一致性？
• RQ4 所提出的IG-RL方法是否在自动评估与人工评估指标上均优于强基线模型？
• RQ5 当输入查询在训练中未见过时，模型在生成风格一致响应方面的鲁棒性如何？

主要发现

• IG-RL模型在人类风格接受率（H-SAR）和自动风格接受率（A-SAR）方面均达到最高，表明其风格冲突错误更少，优于基线模型。
• IG-RL在≥3比率和≥4比率指标上均优于所有基线模型，证明其在内容质量与风格表达之间实现了更优的平衡。
• 消融实验表明，若移除PMI引导，风格表达得分将显著下降，证实PMI在有效风格探索中起着关键作用。
• 人工评估确认，IG-RL生成的响应既高度相关又恰如其分地体现了目标风格，尤其在未见测试样本中表现突出。
• 与依赖推理阶段持续风格输入的方法不同，该模型在不依赖外部风格信号的情况下，仍能生成多样化且上下文相关的响应。
• 在新型性别特定数据集和公开基准数据集上，IG-RL在整体响应质量方面均达到最先进水平。