[论文解读] Joint Modeling of Content and Discourse Relations in Dialogues

Kechen Qin, Lu Wang+1 more|arXiv (Cornell University)|May 14, 2017

Topic Modeling参考文献 30被引用 3

一句话总结

本文提出了一种联合建模框架，通过利用论证性话语结构，同时识别口语会议中的关键内容短语并预测话语关系。通过内容与话语之间的交互，该模型在短语选择任务（准确率63.2%）和话语关系预测任务（准确率59.2%）上均达到最先进性能，并在一致性理解预测任务上显著优于先前工作（F1: 63.1）。

ABSTRACT

We present a joint modeling approach to identify salient discussion points in spoken meetings as well as to label the discourse relations between speaker turns. A variation of our model is also discussed when discourse relations are treated as latent variables. Experimental results on two popular meeting corpora show that our joint model can outperform state-of-the-art approaches for both phrase-based content selection and discourse relation prediction tasks. We also evaluate our model on predicting the consistency among team members' understanding of their group decisions. Classifiers trained with features constructed from our model achieve significant better predictive performance than the state-of-the-art.

研究动机与目标

• 联合建模口语会议中的关键内容短语与话语关系，以同时提升内容选择与话语理解能力。
• 通过联合学习内容与话语信号，应对话语关系人工标注数据有限且成本高昂的挑战。
• 评估模型预测的话语与内容特征是否能增强下游任务（如一致性理解预测）的性能。
• 证明联合建模在多个会议语料库基准上优于独立建模或强基线模型。

提出的方法

• 该模型采用联合推理框架，同时预测关键短语（内容）以及说话人话语之间的关系（如Twente论证结构中的论证关系）。
• 采用结构化预测方法，使用类似条件随机场（CRF）的公式化方式，建模内容标签与话语标签之间的依赖关系。
• 该模型的一个变体在训练过程中将话语关系视为隐变量，当缺乏标准话语标注时亦可适用。
• 一致性理解预测的特征由模型输出构建：一致性概率差异、话语关系模式（长度为1和长度为2的模式），以及基于关键短语的词语同化得分。
• 使用支持向量机（SVM）分类器在这些特征上进行训练，以预测团队成员是否对群体决策具有一致的理解。
• 该模型在两个会议语料库（AMI和ICSI）上进行评估，采用留一法交叉验证。

实验结果

研究问题

• RQ1 联合建模内容与话语关系是否能提升口语会议中基于短语的内容选择性能？
• RQ2 与最先进模型相比，联合学习是否能提升话语关系预测的准确率？
• RQ3 从联合模型预测结果中提取的特征是否能提升群体讨论中的一致性理解（COU）预测性能？
• RQ4 当训练过程中将话语关系视为隐变量时，模型性能如何？

主要发现

• 联合模型在短语选择任务上达到63.2%的准确率，显著优于SVM基线模型。
• 话语关系预测准确率达到59.2%，超过最先进神经网络基线模型（54.2%）。
• 当话语关系被视作隐变量时，该模型在AMI和ICSI数据集上的短语选择任务中仍优于SVM模型。
• 使用模型所选短语生成的抽取式摘要在AMI语料库上达到ROUGE-SU4 F1分数21.3，优于基线模型和关键词选择方法。
• 在一致性理解预测任务中，使用模型特征训练的SVM分类器达到F1分数63.1，显著优于先前最先进方法（50.5）。
• 话语关系模式、一致性概率差异与词语同化特征的组合取得了最佳的COU预测性能（F1: 63.1）。