[论文解读] Bootstrapping incremental dialogue systems: using linguistic knowledge to learn from minimal data

Dimitrios Kalatzis, Arash Eshghi+1 more|arXiv (Cornell University)|Dec 1, 2016

Speech and dialogue systems参考文献 8被引用 3

一句话总结

本文提出一种基于强化学习的方法，通过将动态语法（Dynamic Syntax, DS）语法与词级策略学习相结合，仅利用极少的未标注对话数据即可自举构建增量对话系统。该系统仅通过一个训练对话便能发现多样化的对话变体（如省略、澄清和更正），证明了语言结构能够实现超越监督学习模式的稳健泛化。

ABSTRACT

We present a method for inducing new dialogue systems from very small amounts of unannotated dialogue data, showing how word-level exploration using Reinforcement Learning (RL), combined with an incremental and semantic grammar - Dynamic Syntax (DS) - allows systems to discover, generate, and understand many new dialogue variants. The method avoids the use of expensive and time-consuming dialogue act annotations, and supports more natural (incremental) dialogues than turn-based systems. Here, language generation and dialogue management are treated as a joint decision/optimisation problem, and the MDP model for RL is constructed automatically. With an implemented system, we show that this method enables a wide range of dialogue variations to be automatically captured, even when the system is trained from only a single dialogue. The variants include question-answer pairs, over- and under-answering, self- and other-corrections, clarification interaction, split-utterances, and ellipsis. This generalisation property results from the structural knowledge and constraints present within the DS grammar, and highlights some limitations of recent systems built using machine learning techniques only.

研究动机与目标

• 通过利用语言结构实现对话系统自举，减少对昂贵对话行为标注的依赖。
• 在无轮次约束的条件下，实现增量式、自然主义的对话生成与理解。
• 通过仅使用一个未标注对话进行对话策略训练，最大限度减少开发人员工作量。
• 通过形式化语义语法与强化学习探索，支持对未见对话变体的泛化。
• 通过词级联合对话管理与自然语言生成策略优化，实现端到端联合优化。

提出的方法

• 该方法使用动态语法（DS）解析来逐步追踪对话上下文，并提取语义特征作为记录类型（Record Types, RTs），构成状态表示的基础。
• 状态编码函数利用RT之间的子类型关系（⊆）将对话上下文映射为二值向量，以区分有根基的语义与当前增量话语内容。
• 通过去域化特定领域槽值并从成功对话中提取语义特征，从未标注对话中自动推导出马尔可夫决策过程（MDP）。
• 一个深度Q-learning智能体学习词级策略（π: S → L），其中动作为DS词典中的词，通过与语义用户模拟器交互进行训练。
• 语义用户模拟器使用自动提取的规则（sem → {u₁,…,uₙ}）基于语义上下文中断系统生成，确保响应具有语义根基。
• 奖励函数为：达到目标上下文时R(s) = 1.0，中间步骤时R(s) = 0.0，领域外、不合语法或过长输出时R(s) = -1.0。

实验结果

研究问题

• RQ1 能否仅通过一个未标注对话、无需对话行为标注，有效自举构建对话系统？
• RQ2 将动态语法（DS）语法与强化学习结合，能在多大程度上实现对未见对话变体的泛化？
• RQ3 与基于轮次的方法相比，词级、增量式策略学习在提升自然度与用户偏好方面有何优势？
• RQ4 基于自动提取规则的语义用户模拟是否能在无需人工标注的情况下支持有效的强化学习训练？
• RQ5 在语法约束空间中，通过强化学习探索可发现哪些类型的对话变体（如省略、更正、澄清）？

主要发现

• 该系统仅通过一个未标注的训练对话（消费者电子领域）成功学习了对话策略。
• 该系统发现了并生成了训练数据中不存在的多种对话变体，包括分句话语、自我更正和澄清请求。
• 动态语法的使用实现了结构泛化，使系统能够处理依赖上下文的语句，如省略、过度回答或回答不足。
• 与基于轮次的系统相比，词级强化学习策略生成了更自然、更符合增量生成特性的对话，与用户偏好研究结果一致。
• 基于对话数据自动构建的语义用户模拟器，通过将用户话语与语义上下文匹配并惩罚领域外响应，有效支持了强化学习训练。
• 该方法通过单一学习策略实现了对话管理与自然语言生成的完整联合优化，消除了对独立模块集成的需求。