[论文解读] DialBERT: A Hierarchical Pre-Trained Model for Conversation Disentanglement

Tianda Li, Jia-Chen Gu+5 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 28被引用 19

一句话总结

DialBERT 是一种分层预训练模型，通过结合 BERT 的局部话语级匹配与 BiLSTM 的全局上下文级建模，提升了对话分离性能。仅增加 3% 的参数量，其 F1 分数相比 BERT 提升了 12%，并在 IBM Kummerfeld（2019）数据集上达到新的最先进水平，所有指标均显著优于先前模型。

ABSTRACT

Disentanglement is a problem in which multiple conversations occur in the same channel simultaneously, and the listener should decide which utterance is part of the conversation he will respond to. We propose a new model, named Dialogue BERT (DialBERT), which integrates local and global semantics in a single stream of messages to disentangle the conversations that mixed together. We employ BERT to capture the matching information in each utterance pair at the utterance-level, and use a BiLSTM to aggregate and incorporate the context-level information. With only a 3% increase in parameters, a 12% improvement has been attained in comparison to BERT, based on the F1-Score. The model achieves a state-of-the-art result on the a new dataset proposed by IBM and surpasses previous work by a substantial margin.

研究动机与目标

• 为解决单通道消息中多个对话同时发生时的对话混合问题。
• 通过整合话语级与上下文级语义表征，提升对话分离性能。
• 开发一种适用于 Ubuntu 论坛领域的领域自适应预训练模型，利用对话特定的微调策略。
• 在新的大规模对话分离基准上超越现有模型，展示出更优的泛化能力与鲁棒性。

提出的方法

• 模型使用 BERT 计算候选消息对在话语层级上的局部语义匹配。
• 通过 BiLSTM 编码全局上下文，聚合对话流中前序消息的信息。
• 在 Ubuntu 论坛数据上进行后训练，采用掩码语言建模（MLM）和下一句预测（NSP）目标，以适应对话特定语义。
• 计算目标消息与上下文消息之间的相似度得分，以识别正确的前序消息，预测基于最高得分。
• 该架构以单一流水线处理消息，实现对局部与全局依赖关系的端到端学习。
• 在训练后应用集成策略（概率平均、模型平均）以进一步提升性能。

实验结果

研究问题

• RQ1 结合局部话语匹配与全局上下文建模的分层预训练模型，是否能在对话分离任务中超越标准 BERT？
• RQ2 在 Ubuntu 论坛数据上进行领域特定的后训练，对提升对话分离性能有多有效？
• RQ3 当已使用像 DialBERT 这类强大的预训练模型时，语言学特征对性能的贡献有多大？
• RQ4 通过 BiLSTM 进行上下文建模对对话分离有多关键？若移除该模块，性能会如何变化？
• RQ5 该模型能否在新的大规模对话分离基准上实现良好泛化，超越先前的最先进方法？

主要发现

• DialBERT 相较于标准 BERT 实现了 12% 的 F1 分数相对提升，且在全部六个评估指标上均有增益。
• 该模型在 IBM Kummerfeld（2019）对话分离数据集上达到新的最先进水平，全面超越所有先前模型。
• 在 Ubuntu 论坛数据上进行后训练显著提升了性能，仅增加 3% 参数量即带来显著性能增益。
• 移除 BiLSTM 层导致性能急剧下降（F1 从 43.9% 降至 32.5%），证实其在上下文建模中的关键作用。
• 当与 DialBERT 结合使用时，语言学特征仅带来微小改进，表明模型已充分捕捉大多数相关话语线索。
• 集成方法如模型平均与概率平均可进一步提升性能，最佳集成模型达到 45.3% F1，尽管任务仍具挑战性。