[论文解读] Data Augmentation for Neural Online Chat Response Selection

Wenchao Du, Alan W. Black|arXiv (Cornell University)|Sep 3, 2018

Speech Recognition and Synthesis参考文献 16被引用 6

一句话总结

本文提出了一种新颖的神经在线对话回复选择数据增强方法，通过话语及其内部片段的置换与翻转来提升模型泛化能力。在推理阶段结合原始数据与增强数据，该方法在英语和中文的多种模型与数据集上均实现了1–3个召回率-1点的性能提升，表明在全规模与小规模设置下均持续优于基线模型。

ABSTRACT

Data augmentation seeks to manipulate the available data for training to improve the generalization ability of models. We investigate two data augmentation proxies, permutation and flipping, for neural dialog response selection task on various models over multiple datasets, including both Chinese and English languages. Different from standard data augmentation techniques, our method combines the original and synthesized data for prediction. Empirical results show that our approach can gain 1 to 3 recall-at-1 points over baseline models in both full-scale and small-scale settings.

研究动机与目标

• 通过利用针对在线对话数据结构与语言特性的数据增强技术，提升神经回复选择模型的性能。
• 探究话语及内部消息片段的置换与翻转是否能增强检索式对话系统中的模型泛化能力。
• 评估这些增强策略在多种模型（LSTM-DE、HRE-DE、SMN）、语言（英语与中文）及数据集（包括小规模数据集）中的有效性。
• 探索在推理阶段结合原始数据与增强数据是否优于仅使用增强数据。
• 确定此类增强方法在不同对话领域（包括开放域与任务导向对话）中的鲁棒性。

提出的方法

• 该方法采用两种数据增强方式：对话上下文中最后两句话的置换，以及在标点符号处分割后对话语内部片段进行翻转。
• 对于SMN等模型，所有上下文与回复消息均被翻转；对于DE-based模型，仅上下文消息被翻转。
• 通过平均来自原始数据与增强数据的预测结果，在推理阶段结合两者以提升模型鲁棒性。
• 词嵌入使用在完整语料上训练的word2vec初始化，各模型架构采用特定的超参数（例如，LSTM-DE与HRE-DE使用300维嵌入，SMN使用200维）。
• 使用Adam优化器进行训练，并采用早停策略；仅在小规模设置中应用dropout以防止过拟合。
• 增强操作应用于训练数据，但预测时同时使用原始输入与变换后的输入，以提升泛化能力。

实验结果

研究问题

• RQ1 话语及内部消息片段的置换与翻转是否能提升神经对话模型中的回复选择性能？
• RQ2 数据增强的效果是否因不同神经架构（如LSTM-DE、HRE-DE、SMN）与对话领域而异？
• RQ3 在低资源设置下（如小规模训练数据集），数据增强的表现如何？
• RQ4 在推理阶段结合原始数据与增强数据是否优于仅使用增强数据？
• RQ5 数据增强带来的性能提升是否在不同语言（如英语与中文）间保持一致？

主要发现

• 基于置换的增强在所有模型的全规模数据集上均提升了1–3个召回率-1点，其中LSTM-DE模型获得最大提升。
• 翻转增强在小规模设置中效果最显著，尤其对SMN模型而言，其性能提升幅度在小规模训练中超过全规模训练。
• SMN在置换增强下改善有限，但翻转增强带来显著提升，表明其更受益于内部消息结构的重排。
• Frames数据集在置换增强下未见性能提升，可能因其结构清晰、对话轮流性强，导致最后一句话高度相关。
• 在小规模设置中，LSTM-DE结合数据增强后在多个数据集上优于HRE-DE，表明其具备更强的数据效率。
• 在推理阶段结合原始与增强数据始终带来性能提升，且在任一模型或数据集上均未观察到性能下降。