[论文解读] CoCo: Controllable Counterfactuals for Evaluating Dialogue State Trackers

Shiyang Li, Semih Yavuz+7 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 43被引用 41

一句话总结

CoCo 生成可控的对抗性反事实对话，用于压力测试 DST 模型，并揭示超出保留测试集准确率的显著泛化差距，同时实现鲁棒数据增强。

ABSTRACT

Dialogue state trackers have made significant progress on benchmark datasets, but their generalization capability to novel and realistic scenarios beyond the held-out conversations is less understood. We propose controllable counterfactuals (CoCo) to bridge this gap and evaluate dialogue state tracking (DST) models on novel scenarios, i.e., would the system successfully tackle the request if the user responded differently but still consistently with the dialogue flow? CoCo leverages turn-level belief states as counterfactual conditionals to produce novel conversation scenarios in two steps: (i) counterfactual goal generation at turn-level by dropping and adding slots followed by replacing slot values, (ii) counterfactual conversation generation that is conditioned on (i) and consistent with the dialogue flow. Evaluating state-of-the-art DST models on MultiWOZ dataset with CoCo-generated counterfactuals results in a significant performance drop of up to 30.8% (from 49.4% to 18.6%) in absolute joint goal accuracy. In comparison, widely used techniques like paraphrasing only affect the accuracy by at most 2%. Human evaluations show that COCO-generated conversations perfectly reflect the underlying user goal with more than 95% accuracy and are as human-like as the original conversations, further strengthening its reliability and promise to be adopted as part of the robustness evaluation of DST models.

研究动机与目标

• 评估最先进的 DST 模型在超出保留 MultiWOZ 测试集的新颖、真实对话场景中的泛化能力。
• 引入一个与模型无关的框架，用于生成对抗性回合级信念状态及相应对话。
• 评估对抗性对话对多个模型的 DST 性能影响。
• 探究对抗性数据增强是否提高鲁棒性和原始任务的性能。

提出的方法

• 将 DST 表述为回合级和对话级别信念状态追踪问题。
• 通过删除、改变量槽值或增加槽值来生成对抗性目标，以回合级信念状态为基础。
• 使用预训练的编码器-解码器模型，在修改后的信念状态条件下生成对抗性用户话语。
• 应用两种筛选机制以确保生成的陈述符合对抗性目标：槽值匹配筛选器和基于分类器的筛选器。
• 引入值替换（Value Substitution，VS）作为特殊的 CoCo 情况，以及在需要时将 VS 作为回退的 CoCo+ 变体。
• 用最大似然和束搜索进行推断，训练一个目标条件化的用户话语生成器 p_theta(U_usr_t | U_sys_t, L_t)。

实验结果

研究问题

• RQ1 当在 CoCo 生成的对抗性对话上评估时，最先进的 DST 模型的表现如何？
• RQ2 未见槽值和罕见槽值组合在多大程度上影响 DST 模型的泛化？
• RQ3 基于 CoCo 的数据增强是否能够提升 DST 模型的鲁棒性和/或原始任务的性能？

主要发现

• DST 模型在 CoCo- 和 CoCo+-生成的对抗性对话上，联合目标准确性下降显著（最多 30.8 个百分点），相比原始 MultiWOZ 测试集。
• 通过回译进行的改写对性能影响有限，下降最多 2%。
• 未见的域内和域外槽值导致显著的准确性下降（分别最多 11.8% 和大约 10% 额外下降）。
• CoCo+ 稀有且稀有的槽值组合产生最大的泛化差距，类似 Trade 的模型准确率从 49.4% 下降到 18.6%。
• 人工评估表明 CoCo 生成的对话在很大程度上忠实于用户目标（>95% 准确率），并且相对于原始对话具有较高的人类相似度；CoCo-ori 往往与原始回合级信念状态正确性相当或略有超出。
• 使用 CoCo+ 稀有配置进行的数据增强在各模型上提升鲁棒性，并且在某些模型上（如 TripPy）可以提升原始测试集的性能。