[论文解读] Joint Effects of Context and User History for Predicting Online Conversation Re-entries

Xingshan Zeng, Jing Li+2 more|arXiv (Cornell University)|Jun 4, 2019

Complex Network Analysis Techniques参考文献 25被引用 4

一句话总结

本文提出一种带有双注意力机制的神经框架，用于联合建模对话上下文与用户聊天历史，以预测在线重新参与行为。通过端到端学习用户兴趣与对话上下文中的主题对齐，该方法在Twitter数据集上取得了61.1的F1分数，优于先前的最先进方法。

ABSTRACT

As the online world continues its exponential growth, interpersonal communication has come to play an increasingly central role in opinion formation and change. In order to help users better engage with each other online, we study a challenging problem of re-entry prediction foreseeing whether a user will come back to a conversation they once participated in. We hypothesize that both the context of the ongoing conversations and the users' previous chatting history will affect their continued interests in future engagement. Specifically, we propose a neural framework with three main layers, each modeling context, user history, and interactions between them, to explore how the conversation context and user chatting history jointly result in their re-entry behavior. We experiment with two large-scale datasets collected from Twitter and Reddit. Results show that our proposed framework with bi-attention achieves an F1 score of 61.1 on Twitter conversations, outperforming the state-of-the-art methods from previous work.

研究动机与目标

• 为解决预测用户是否会重新参与其先前加入的在线对话的挑战。
• 探究对话上下文与用户聊天历史如何共同影响重新参与行为。
• 开发一种端到端的神经框架，捕捉上下文与历史之间的交互作用，而无需依赖手工设计的特征。
• 在不同对话长度下评估模型性能，并与人类预测能力进行比较。

提出的方法

• 设计了一个三层神经框架，分别使用编码器对对话上下文和用户历史进行建模，随后通过双注意力机制建模跨模态交互。
• 双注意力机制在两个方向上计算注意力权重——从上下文到历史，以及从历史到上下文——实现用户兴趣与当前讨论主题的动态对齐。
• 通过拼接、对话轮次上的注意力、记忆网络以及双注意力机制整合表示，采用监督学习进行端到端训练。
• 评估了四种变体：简单拼接、带注意力的BiLSTM、带记忆网络的BiLSTM，以及带双注意力的BiLSTM，其中后者表现最佳。
• 在Twitter和Reddit的两个大规模数据集上进行模型的训练与测试，通过交叉验证调整超参数。
• 开展一项人类评估研究，将模型性能与两名人类标注员在相同重新参与预测任务上的表现进行对比。

实验结果

研究问题

• RQ1 对话上下文与用户聊天历史如何共同影响用户重新参与讨论的可能性？
• RQ2 采用端到端学习的神经模型是否能优于依赖手工特征的传统方法进行重新参与预测？
• RQ3 双注意力机制是否能有效对齐用户兴趣与不同语境下演变的对话主题？
• RQ4 模型在预测首次重新参与行为方面的表现与人类判断相比如何？

主要发现

• 所提出的带双注意力机制的模型在Twitter数据集上取得了61.1的F1分数，超过先前的最先进方法（F1 = 57.0）。
• 无论对话上下文或用户历史的长度如何，该模型始终优于所有基线方法，包括使用手工特征的模型。
• 双注意力机制通过将用户兴趣（来自历史）与当前对话中的相关主题对齐，成功学习到有意义的表示，这一点通过注意力热力图得到验证。
• 人类在重新参与预测任务上的表现仅略好于随机猜测（25/50），而模型在Twitter上50个样本中正确预测了35个，表明其从大规模数据中学习的能力更优。
• 模型在Reddit上的表现优于Twitter，可能是因为Reddit的讨论结构更集中且更正式，有助于主题识别。