[论文解读] Improving Dialogue Breakdown Detection with Semi-Supervised Learning

Nathan Ng, Marzyeh Ghassemi+3 more|arXiv (Cornell University)|Oct 30, 2020

Topic Modeling参考文献 18被引用 9

一句话总结

本文提出了一种半监督学习技术——在Reddit数据上继续预训练以及基于流形的自监督数据增强（SSMBA）——以提升对话崩溃检测性能。这些方法在DBDC5共享任务中使基于BERT的模型准确率提升超过12%，在DBDC4中提升2%，展示了在极少修改模型架构的情况下取得显著性能提升，并具有广泛适用于对话任务的潜力。

ABSTRACT

Building user trust in dialogue agents requires smooth and consistent dialogue exchanges. However, agents can easily lose conversational context and generate irrelevant utterances. These situations are called dialogue breakdown, where agent utterances prevent users from continuing the conversation. Building systems to detect dialogue breakdown allows agents to recover appropriately or avoid breakdown entirely. In this paper we investigate the use of semi-supervised learning methods to improve dialogue breakdown detection, including continued pre-training on the Reddit dataset and a manifold-based data augmentation method. We demonstrate the effectiveness of these methods on the Dialogue Breakdown Detection Challenge (DBDC) English shared task. Our submissions to the 2020 DBDC5 shared task place first, beating baselines and other submissions by over 12\% accuracy. In ablations on DBDC4 data from 2019, our semi-supervised learning methods improve the performance of a baseline BERT model by 2\% accuracy. These methods are applicable generally to any dialogue task and provide a simple way to improve model performance.

研究动机与目标

• 通过利用大规模未标注对话数据，解决对话崩溃检测中标签数据有限的挑战。
• 使用无需任务特定微调的半监督学习技术，提升对话崩溃检测模型的性能。
• 评估在Reddit上继续预训练和SSMBA数据增强在低资源对话设置下的有效性。
• 证明这些方法在不同对话任务中具有泛化能力，并显著优于现有基线模型。

提出的方法

• 在Reddit数据集上对BERT进行继续预训练，以将通用表示适配到非正式、对话式语言。
• 应用SSMBA通过使用预训练BERT模型对话语对进行掩码和重建，生成增强的训练样本。
• 对增强样本使用软伪标签以保持标签一致性，并将其与原始标注数据结合。
• 在半监督预处理后，使用标准监督学习对最终模型在DBDC数据集上进行微调。
• 通过集成表现最佳的模型，进一步提升测试集上的泛化能力和鲁棒性。
• 从BERT BASE权重初始化模型，以在继续预训练前利用已学习的语言结构。

实验结果

研究问题

• RQ1 在Reddit数据上继续预训练是否能超越标准BERT微调，在对话崩溃检测中带来性能提升？
• RQ2 SSMBA数据增强是否能提升模型在低资源对话崩溃检测中的泛化能力和性能？
• RQ3 这些半监督方法在准确率、F1分数和JS散度方面与监督基线相比如何？
• RQ4 这些方法在先前的共享任务数据（DBDC4）和更新的DBDC5基准上，性能提升程度如何？

主要发现

• 我们的最终提交在DBDC5测试集上达到73.92%的准确率，比CRF基线高出15.26个百分点，比第二名提交高出12%。
• 在DBDC4上，我们的基线BERT模型达到73.18%的准确率，超过此前挑战优胜者13%以上。
• 在基线基础上增加Reddit上的继续预训练，准确率提升0.92%（达到74.10%），JS散度降低0.0021。
• 整合SSMBA数据增强后，准确率进一步提升至74.97%，JS散度降至0.0419，较基线降低0.0031。
• 集成前四名模型后，在DBDC4上达到最终75.54%的准确率，JS散度无下降，表明泛化能力稳健。
• 半监督方法使DBDC4的F1分数提升0.02，DBDC5的F1分数提升0.135，DBDC5的JS散度降低0.02。