[论文解读] Learning Latent Local Conversation Modes for Predicting Community Endorsement in Online Discussions

Hao Fang, Hao Cheng+1 more|arXiv (Cornell University)|Aug 16, 2016

Topic Modeling参考文献 25被引用 4

一句话总结

本文提出一种神经网络模型，通过学习局部讨论结构（如回复时间间隔和回复图结构）中的潜在对话模式，以预测在线论坛中的社区认可度（如Reddit的karma积分）。通过将投稿上下文建模为潜在模式的加权组合，并使用与模式相关的门控机制动态调整文本特征的权重，该模型提升了预测准确率并增强了可解释性，表明在低活跃度讨论区域中，文本内容对评论的预测力最强。

ABSTRACT

Many social media platforms offer a mechanism for readers to react to comments, both positively and negatively, which in aggregate can be thought of as community endorsement. This paper addresses the problem of predicting community endorsement in online discussions, leveraging both the participant response structure and the text of the comment. The different types of features are integrated in a neural network that uses a novel architecture to learn latent modes of discussion structure that perform as well as deep neural networks but are more interpretable. In addition, the latent modes can be used to weight text features thereby improving prediction accuracy.

研究动机与目标

• 通过结合文本内容与结构化响应模式，预测在线讨论中的社区认可度。
• 通过基于响应结构与时间模式识别潜在对话模式，建模讨论线程的动态特性。
• 通过学习文本特征在不同讨论语境下重要性的变化，提升预测准确率。
• 通过发现与认可度水平相关联的有意义、数据驱动的对话行为模式，提供可解释性。
• 探究结构化线索（如回复数量、时间间隔）如何调节评论内容对社区点赞的影响。

提出的方法

• 使用图特征（如子节点数量、子树高度）和时间特征（如距根节点的时间、距父节点的时间）表示每个评论的局部讨论上下文。
• 利用社区认可度（karma）作为弱监督信号，学习一组表示讨论线程中常见结构模式的潜在基向量（对话模式）。
• 将每个评论的上下文建模为这些潜在模式的加权线性组合，实现对结构动态的解耦表示。
• 引入一种动态门控机制，根据学习到的潜在模式调整文本特征的贡献，实现上下文相关的文本重要性调节。
• 训练一个神经网络，联合优化基于门控文本特征与结构化上下文表示的社区认可度预测。
• 使用分位数化的karma等级作为标签，并为每个认可度区间训练二分类器，通过子版块内的F1分数评估模型性能。

实验结果

研究问题

• RQ1 在线讨论线程中的不同结构模式（如时间间隔、回复量）与社区认可度之间存在何种相关性？
• RQ2 能否利用社区认可度作为信号，在弱监督设置下学习到讨论结构的潜在模式？
• RQ3 在不同结构化语境下，文本内容对认可度预测的相对重要性是否发生变化？
• RQ4 与固定权重融合文本与结构特征的方法相比，基于模式的门控机制是否能提升预测准确率？
• RQ5 回复量与结构动态本身在多大程度上能预测认可度？引入文本信息后性能提升如何？

主要发现

• 该模型在karma预测任务上表现优异，在AskMen子版块中，中等认可度的F1得分为0.87，高认可度为0.67，低认可度为0.85。
• 高karma评论通常在讨论初期发布，且具有较广的子树（大量直接回复），表明其处于活跃讨论区域。
• 低karma评论通常发布于讨论后期，且子树较浅，表明参与度较低，读者较少。
• 高karma评论的文本门控值始终较低，表明当评论处于高活跃度讨论模式时，内容本身的重要性下降。
• 潜在模式表示在不同子版块中捕捉到了有意义的结构模式，呈现出早期/晚期发布与高/低参与度的清晰聚类。
• 门控模型通过根据上下文动态调节文本影响，优于基线模型，表明结构上下文会调节文本内容的实用性。