[论文解读] ICE: Information Credibility Evaluation on Social Media via Representation Learning

Qiang Liu, Shu Wu+3 more|arXiv (Cornell University)|Sep 29, 2016

Misinformation and Its Impacts参考文献 38被引用 7

一句话总结

本文提出ICE，一种用于社交媒体信息可信度评估的表示学习框架，联合建模用户可信度、行为类型、时间动态和评论态度。通过学习微博传播的动态联合表示，并采用成对学习方法区分谣言与非谣言，ICE在新浪微博数据集上实现了最先进性能，优于现有的基于特征工程的方法。

ABSTRACT

With the rapid growth of social media, rumors are also spreading widely on social media and bring harm to people's daily life. Nowadays, information credibility evaluation has drawn attention from academic and industrial communities. Current methods mainly focus on feature engineering and achieve some success. However, feature engineering based methods require a lot of labor and cannot fully reveal the underlying relations among data. In our viewpoint, the key elements of user behaviors for evaluating credibility are concluded as "who", "what", "when", and "how". These existing methods cannot model the correlation among different key elements during the spreading of microblogs. In this paper, we propose a novel representation learning method, Information Credibility Evaluation (ICE), to learn representations of information credibility on social media. In ICE, latent representations are learnt for modeling user credibility, behavior types, temporal properties, and comment attitudes. The aggregation of these factors in the microblog spreading process yields the representation of a user's behavior, and the aggregation of these dynamic representations generates the credibility representation of an event spreading on social media. Moreover, a pairwise learning method is applied to maximize the credibility difference between rumors and non-rumors. To evaluate the performance of ICE, we conduct experiments on a Sina Weibo data set, and the experimental results show that our ICE model outperforms the state-of-the-art methods.

研究动机与目标

• 为解决现有基于特征工程的方法在建模社交媒体谣言中可信度因素之间复杂交互关系方面的局限性。
• 开发一种统一的表示学习框架，捕捉微博传播中‘谁、什么、何时、如何’之间的动态交互。
• 通过联合建模用户可信度、行为类型、时间模式和用户反馈（评论），提升谣言检测性能。
• 实现在大规模社交媒体数据上的可扩展且高效的可信度评估。
• 构建一个实时系统（NICE），用于在实际信息管理中部署ICE模型。

提出的方法

• ICE为四个关键可信度因素学习潜在表示：用户可信度、行为类型（如发布、转发）、时间属性（如传播时间）以及评论态度（如可疑或识别性评论）。
• 通过聚合这四个因素的表示，形成单条微博的动态表示。
• 通过聚合传播链中所有微博的动态表示，生成整个事件的可信度表示。
• 在训练过程中采用成对学习策略，以最大化谣言与非谣言样本之间的可信度差异。
• 模型使用深度神经网络学习可信度因素之间的非线性交互，避免依赖人工特征工程。
• 系统将训练好的ICE模型集成到一个实时基于网络的应用程序（NICE）中，实现在新浪微博上的在线可信度评估。

实验结果

研究问题

• RQ1 与传统特征工程方法相比，表示学习方法是否能更好地建模用户可信度、行为、时间与反馈之间的复杂联合交互？
• RQ2 统一表示模型在多大程度上能捕捉可信度在微博传播过程中的动态演化？
• RQ3 与孤立特征分析相比，整合多个可信度因素（谁、什么、何时、如何）在多大程度上提升了谣言检测性能？
• RQ4 所提出的ICE模型在不同微博热度水平下是否具有泛化能力并保持高性能？
• RQ5 在大规模社交媒体数据集上，ICE模型在训练和推理时间方面的可扩展性如何？

主要发现

• ICE在新浪微博数据集上优于所有最先进方法，其中ICE+Content表现最佳。
• 模型在所有热度级别（0–100、100–300、300–1000、1000+）均保持强性能，尽管随着热度升高，准确率略有下降，主要因噪声增加。
• ICE的训练与测试时间随数据集规模线性增长，表明其在大规模数据上的良好可扩展性。
• 基于ICE构建的NICE系统，可通过爬取并分析相关微博，实现实时用户查询的可信度评估。
• 消融实验表明，对‘谁、什么、何时、如何’的联合建模显著优于孤立或聚合特征方法。
• 成对学习目标有效增强了模型对谣言与非谣言的判别能力，通过最大化可信度差距实现。