[论文解读] Something's Brewing! Early Prediction of Controversy-causing Posts from Discussion Features

Jack Hessel, Lillian Lee|arXiv (Cornell University)|Apr 15, 2019

Topic Modeling参考文献 35被引用 6

一句话总结

本文提出了一种基于 Reddit 讨论初期内容与结构特征（例如，评论树深度、回复率）的早期争议性帖子预测模型，时间窗口为讨论开始后的前 15 分钟。结果表明，即使仅有 4–5 条早期评论，讨论结构与速率特征也能显著提升争议性预测性能，超越仅依赖内容的基线模型；且树结构与速率特征在不同社区间的泛化能力优于基于文本的特征。

ABSTRACT

Controversial posts are those that split the preferences of a community, receiving both significant positive and significant negative feedback. Our inclusion of the word "community" here is deliberate: what is controversial to some audiences may not be so to others. Using data from several different communities on reddit.com, we predict the ultimate controversiality of posts, leveraging features drawn from both the textual content and the tree structure of the early comments that initiate the discussion. We find that even when only a handful of comments are available, e.g., the first 5 comments made within 15 minutes of the original post, discussion features often add predictive capacity to strong content-and-rate only baselines. Additional experiments on domain transfer suggest that conversation-structure features often generalize to other communities better than conversation-content features do.

研究动机与目标

• 基于早期讨论特征而非仅依赖帖子内容，预测 Reddit 帖子是否会演变为争议性内容。
• 探究除帖子正文外，早期讨论动态是否能作为未来争议性的信号。
• 评估预测特征在不同子版块之间的可迁移性，特别是在低数据或零样本设置下。
• 确定结构特征与速率特征是否在不同社区间比基于内容的特征具有更好的泛化能力。
• 通过提供可操作的洞察，为社区管理员和用户实现对潜在分裂性内容的早期预警。

提出的方法

• 模型结合了原始帖子和早期评论的文本特征（例如，情感、主题、词汇多样性）以及评论树的结构特征（例如，深度、分支因子、回复数量）。
• 引入了评论速率特征，如每分钟评论数、回复速率，以检测可能预示争议的早期参与激增。
• 在帖子发布后多个时间点（例如，t=60、180 秒）训练二分类器，使用该时间窗口内可获取的特征预测最终的争议性。
• 通过 F1 分数和准确率评估性能，对比包含与不包含结构特征的模型，并通过在某一子版块训练、在另一子版块测试的方式检验领域迁移能力。
• 为评估特征鲁棒性，作者分别在六个子版块上比较了仅使用文本、仅使用树结构、仅使用速率特征以及三者组合的模型性能。
• 使用一个“全知基线”与流行度预测模型进行对比，结果表明争议性预测与流行度预测学习的是截然不同、无重叠的模式。

实验结果

研究问题

• RQ1 仅依靠帖子内容之外的早期讨论特征，能否提升在线讨论中最终争议性的预测性能？
• RQ2 与文本特征相比，早期评论树的结构与速率特征在预测能力及跨社区泛化能力方面表现如何？
• RQ3 当从一个子版块迁移到另一个子版块时，基于文本的特征性能下降程度如何？树结构与速率特征在这些场景下的表现如何？
• RQ4 仅使用内容特征的模型与包含早期讨论结构动态的模型之间，是否存在显著的性能差距？
• RQ5 在仅有最少数据（例如，15 分钟内仅前 5 条评论）的情况下，能否可靠地实现早期争议性预测？

主要发现

• 与仅依赖内容的基线相比，即使在仅有 4–5 条评论的 15 分钟窗口内，整合早期讨论特征（文本、树结构、速率）能显著提升争议性预测性能。
• 在 t=180 秒时，最佳模型（C-(TEXT+TREE+RATE)）在 AskMen 子版块上达到 60.1% 的 F1 分数，优于仅使用帖子内容的基线模型，甚至在某些情况下超越了流行度全知基线。
• 基于文本的特征在本域内表现最佳，但极为脆弱：当从 AskWomen 迁移到 AskMen 时，准确率下降了 63%，表明其具有强烈的社区特异性。
• 相比之下，速率与树结构特征表现出显著更好的可迁移性：在 AskMen 与 AskWomen 等子版块之间迁移时，性能下降极小（例如，<10% 下降）。
• 仅使用速率与树结构特征的模型（C-(TREE+RATE)）在跨社区泛化方面优于任何基于文本的模型，表明结构动态更普遍地指示争议性。
• 即使在训练时使用流行度预测任务，模型也未能达到争议性预测模型的性能，表明争议性与流行度是具有不同早期信号的独立现象。