[论文解读] Hierarchical Text Generation and Planning for Strategic Dialogue

Denis Yarats, Mike Lewis|arXiv (Cornell University)|Dec 15, 2017

Topic Modeling参考文献 19被引用 29

一句话总结

该论文提出了一种分层潜在变量模型，通过训练句级潜在表征以最大化后续对话轮次和动作的可能性，从而将对话话语的语义与语言形式解耦。通过基于这些语义感知表征进行生成，该模型提升了策略规划能力，增强了语言和语义多样性，并在不牺牲流畅性的前提下实现了稳定的强化学习，其在任务奖励和对话质量方面均优于先前方法。

ABSTRACT

End-to-end models for goal-orientated dialogue are challenging to train, because linguistic and strategic aspects are entangled in latent state vectors. We introduce an approach to learning representations of messages in dialogues by maximizing the likelihood of subsequent sentences and actions, which decouples the semantics of the dialogue utterance from its linguistic realization. We then use these latent sentence representations for hierarchical language generation, planning and reinforcement learning. Experiments show that our approach increases the end-task reward achieved by the model, improves the effectiveness of long-term planning using rollouts, and allows self-play reinforcement learning to improve decision making without diverging from human language. Our hierarchical latent-variable model outperforms previous work both linguistically and strategically.

研究动机与目标

• 为解决端到端对话模型中语言形式与策略性语义的纠缠问题，该问题阻碍了有效规划与强化学习。
• 通过离散潜在表征实现语义多样化的候选消息生成，以改善对话系统中的长期规划。
• 在保持高语言流畅性的同时，允许强化学习改进策略决策，而不降低文本质量。
• 生成能够捕捉话语对对话延续影响的句子表征，而非仅关注其表面形式。
• 通过将语义意图与语言实现解耦，实现战略对话中稳定的自我对弈强化学习。

提出的方法

• 该模型通过最大化未来对话轮次和动作的可能性，而非即时话语 $ x_t $，来学习离散的潜在句子表征 $ z_t $，从而捕捉语义影响而非表面形式。
• 采用分层生成框架，代理首先采样潜在计划 $ z_t $，然后基于此计划生成响应，以确保与既定目标的一致性。
• 通过使用多样化的 $ z_t $ 样本进行滚动（rollouts），估算不同策略路径的期望奖励，从而提升长期规划能力。
• 通过微调选择 $ z_t $ 的参数来应用强化学习，实现策略改进的同时保持语言流畅性。
• 该模型采用序列到序列架构，并结合变分自编码器式结构，从对话历史和未来结果中学习解耦表征。
• 潜在空间通过对比目标进行训练，以鼓励具有相似语义效果的表征映射到相同的 $ z_t $，即使表面形式不同。

实验结果

研究问题

• RQ1 基于话语对对话延续的影响来学习潜在句子表征，是否能提升策略规划与最终任务性能？
• RQ2 将语义意图与语言形式解耦，是否能带来更丰富且一致的对话响应？
• RQ3 强化学习是否能在不降低生成文本流畅性的情况下改进对话策略？
• RQ4 与自回归文本生成相比，采用潜在规划的分层生成在语义多样性和策略有效性方面表现如何？
• RQ5 解耦表征在多大程度上支持战略对话中稳定的自我对弈训练？

主要发现

• 分层模型相比基线模型实现了10%更高的最终任务奖励，证明了其策略性能的提升。
• 该模型生成了751个唯一的消息字符串，其中仅18%为 OOV（未登录词），而全自回归模型为60%，表明其泛化能力更强且记忆化现象更少。
• 分层模型中自洽性错误（如关于物品所有权的矛盾声明）在11%的消息中出现，而全模型为23%，表明内部一致性得到改善。
• 分层模型将对话中的消息重复率降低至1%，而基线模型为12%，表明其探索能力更强且减少了对重复策略的利用。
• 人工评估确认，即使表面形式差异显著，分层模型仍能生成语义更连贯、语言更多样的响应。
• 基于滚动的规划结合多样化的潜在代码，如图5所示，使模型在妥协前探索了多个报价，从而展现出更有效的谈判策略。