[论文解读] Under the Underground: Predicting Private Interactions in Underground Forums

Rebekah Overdorf, Carmela Troncoso+2 more|arXiv (Cornell University)|May 11, 2018

Social Capital and Networks被引用 12

一句话总结

本文提出了一种监督式机器学习方法，利用帖子内容和用户元数据作为特征，预测地下网络犯罪社区中哪些公开论坛帖子会触发私信。该方法在随机猜测之上表现出显著性能，其中自然语言处理（NLP）特征主导了预测能力，并引入了一种自动化标注技术，通过调节阈值参数 Θ，将重点集中于帖子特定或普遍的私信可能性，从而大幅减少人工工作量。

ABSTRACT

Underground forums where users discuss, buy, and sell illicit services and goods facilitate a better understanding of the economy and organization of cybercriminals. Prior work has shown that in particular private interactions provide a wealth of information about the cybercriminal ecosystem. Yet, those messages are seldom available to analysts, except when there is a leak. To address this problem we propose a supervised machine learning based method able to predict which public hreads will generate private messages, after a partial leak of such messages has occurred. To the best of our knowledge, we are the first to develop a solution to overcome the barrier posed by limited to no information on private activity for underground forum analysis. Additionally, we propose an automate method for labeling posts, significantly reducing the cost of our approach in the presence of real unlabeled data. This method can be tuned to focus on the likelihood of users receiving private messages, or hreads triggering private interactions. We evaluate the performance of our methods using data from three real forum leaks. Our results show that public information can indeed be used to predict private activity, although prediction models do not transfer well between forums. We also find that neither the length of the leak period nor the time between the leak and the prediction have significant impact on our technique's performance, and that NLP features dominate the prediction power.

研究动机与目标

• 解决地下论坛分析中的关键缺口：私信数据极少可得，仅在罕见数据泄露时才可获取。
• 开发一种方法，预测哪些公开论坛帖子可能引发私信，使分析人员能够将调查重点集中于高潜力内容。
• 通过引入一种基于阈值参数 Θ 调节的自动化标注方法，降低人工标注的高昂成本，从而优先关注帖子特定或普遍的私信可能性。
• 评估预测模型在不同地下论坛之间的可迁移性，并分析数据泄露时间与持续时间对性能的影响。

提出的方法

• 该方法采用监督式机器学习，基于文本内容和用户/帖子元数据，将公开论坛帖子分类为可能或不可能触发私信。
• 特征包括自然语言处理嵌入（如 TF-IDF、类似 BERT 的表示）、用户活动指标、帖子长度和时间元数据。
• 自动化标注方法利用相似性阈值 Θ 计算某条私信是某条公开帖子回复的可能性，其中 Θ 的取值可调节：高 Θ 值聚焦于即时回复（提高回复相关性的置信度），低 Θ 值则聚焦于用户的一般消息活动。
• 模型在三个真实地下论坛的数据泄露数据上进行训练，标签由应用于私信-帖子关联的自动化方法生成。
• 通过跨论坛和同论坛设置的评估，检验模型的可迁移性及对时间变化的鲁棒性。
• 阈值参数 Θ 提供了标注灵活性：高 Θ 值优先关注发布后短时间内发送的消息，从而提高对回复相关性的信心。

实验结果

研究问题

• RQ1 能否可靠地利用公开论坛帖子预测地下网络犯罪论坛中后续的私信？
• RQ2 自动化标注方法在保持标签质量的同时，能否有效减少人工标注工作量？
• RQ3 预测模型的性能是否受泄露周期长度或泄露与预测之间时间间隔的影响？
• RQ4 在具有不同用户群体和内容风格的地下论坛之间，训练好的模型在多大程度上具有可迁移性？
• RQ5 在内容特征与元数据特征中，哪一类特征对预测私信生成最具预测力？

主要发现

• 该模型在预测私密互动方面显著优于随机猜测，证明了可利用公开信息推断私密活动。
• 内容特征，尤其是 NLP 表示，主导了预测能力，尽管元数据特征单独也提供了显著的信号。
• 无论泄露周期长度或泄露与预测之间的时间间隔如何，模型性能均无显著影响，表明论坛动态在时间上保持稳定。
• 在某一论坛上训练的模型在另一论坛上测试时表现不佳，表明模型跨论坛的可迁移性有限，需依赖目标论坛的特定训练数据。
• 自动化标注方法有效减少了人工工作量：高 Θ 值聚焦于及时且可能的回复，而低 Θ 值则捕捉用户对消息的整体接受度，经人工评估验证有效。