[论文解读] Crawling Twitter data through API: A technical/legal perspective

Shahab Saquib Sohail, Mohammad Muzammil Khan+5 more|arXiv (Cornell University)|May 22, 2021

Privacy, Security, and Data Protection参考文献 31被引用 4

一句话总结

本文提出了一种隐私保护框架，用于爬取和利用Twitter API数据，以实现个性化推荐，同时不损害用户隐私。通过使用唯一用户编码对个人身份信息（PII）进行匿名化，并利用情感计算对数据进行分类，该系统仅向第三方服务提供聚合的、不可识别的数据，从而在确保高效推荐系统的同时实现强大的数据保护——该框架在8天内爬取了3000万条推文，已通过验证。

ABSTRACT

The popularity of the online media-driven social network relation is proven in today's digital era. The many challenges that these emergence has created include a huge growing network of social relations, and the large amount of data which is continuously been generated via the different platform of social networking sites, viz. Facebook, Twitter, LinkedIn, Instagram, etc. These data are Personally Identifiable Information (PII) of the users which are also publicly available for some platform, and others allow with some restricted permission to download it for research purposes. The users' accessible data help in providing with better recommendation services to users, however, the PII can be used to embezzle the users and cause severe detriment to them. Hence, it is crucial to maintain the users' privacy while providing their PII accessible for various services. Therefore, it is a burning issue to come up with an approach that can help the users in getting better recommendation services without their privacy being harmed. In this paper, a framework is suggested for the same. Further, how data through Twitter API can be crawled and used has been extensively discussed. In addition to this, various security and legal perspectives regarding PII while crawling the data is highlighted. We believe the presented approach in this paper can serve as a benchmark for future research in the field of data privacy.

研究动机与目标

• 解决在社交媒体数据中实现高效推荐系统的同时保护用户隐私的双重挑战。
• 建立一个尊重用户PII的负责任Twitter API数据爬取的技术与法律框架。
• 提出一种在保障严格隐私保护的前提下，平衡研究与服务所需数据效用的模型。
• 为未来使用社交媒体数据的隐私感知推荐系统研究提供基准。

提出的方法

• 使用搜索API爬取Twitter数据，在8天内收集3000万条推文，重点聚焦于公开的用户内容。
• 通过为每位用户分配唯一编码对用户数据进行匿名化，替换直接标识符，同时保持数据效用。
• 利用情感计算技术将用户数据分类为各类（如电子商务、旅游、社交偏好等）。
• 根据应用特定需求，仅向第三方服务提供分类后的、不可识别的数据。
• 通过将匿名化编码重新映射回原始用户，向用户提供推荐，确保端到端隐私保护。
• 整合法律保障措施，如透明度、用户同意、数据删除权以及安全事件通知协议。

实验结果

研究问题

• RQ1 如何在不违反用户隐私的前提下收集和利用Twitter API数据以支持推荐系统？
• RQ2 哪些技术机制可在保护数据效用以支持个性化服务的同时实现PII的匿名化？
• RQ3 在社交媒体研究中，确保负责任的数据访问与使用，需要哪些法律与伦理准则？
• RQ4 如何在识别恶意用户与保护合法用户隐私之间实现平衡？
• RQ5 何种框架可作为隐私感知数据爬取与推荐系统研究的基准？

主要发现

• 该框架成功实现了基于匿名化Twitter数据的推荐服务，且未暴露用户的直接身份信息。
• 在8天内通过Twitter搜索API共收集了3000万条推文，证明了大规模数据爬取的可行性。
• 通过用户专属编码实现的匿名化，使得数据可分类并供第三方访问，同时确保外部系统无法暴露PII。
• 情感计算的集成使得能够从公开推文中提取行为特征与偏好，用于精准推荐。
• 正式提出了透明度、同意、数据删除权及安全事件通知等法律保障措施，作为系统的核心组成部分。
• 所提出的模型在不损害用户隐私或数据效用的前提下，实现了对合法用户与恶意用户的有效区分。