[论文解读] Design and Implementation of iMacros-based Data Crawler for Behavioral Analysis of Facebook Users.

Mudasir Ahmad Wani, Nancy Agarwal+2 more|arXiv (Cornell University)|Feb 18, 2018

Web Data Mining and Analysis参考文献 24被引用 12

一句话总结

本文提出 IMcrawler，一种基于 iMacros 的网络爬虫，可在法律允许的范围内从 Facebook 个人资料中提取个人资料与动态活动数据，实现对用户行为的分析。该系统将收集到的数据进行预处理，形成两个数据集，揭示了用户在信息披露方面存在的性别差异以及在线活动的模式。

ABSTRACT

Obtaining the desired dataset is still a prime challenge faced by researchers while analysing Online Social Network (OSN) sites. Application Programming Interfaces (APIs) provided by OSN service providers for retrieving data impose several unavoidable restrictions which make it difficult to get a desirable dataset. In this paper, we present an iMacros technology-based data crawler called IMcrawler,capable of collecting every piece of information which is accessible through a browser from the Facebook website within the legal framework reauthorized by Facebook.The proposed crawler addresses most of the challenges allied with web data extraction approaches and most of the APIs provided by OSN service providers. Two broad sections have been extracted from Facebook user profiles, namely, Personal Information and Wall Activities. The collected data is pre-processed into two datasets and each data set is statistically analysed to draw semantic knowledge and understand the several behavioral aspects of Facebook users such as kind of information mostly disclosed by users, gender differences in the pattern of revealed information, highly posted content on the network, highly performed activities on the network, the relationships among personal and post attributes, etc. To the best of our knowledge, the present work is the first attempt towards providing the detailed description of crawler design and gender-based information revealing behaviour of Facebook users.

研究动机与目标

• 为解决由于 API 限制导致的在线社交网络（OSNs）数据访问受限的问题。
• 开发一种合法的、基于浏览器的数据采集方法，绕过 Facebook 的 API 限制。
• 提取并分析两类关键数据：Facebook 个人资料中的个人资料信息与动态活动。
• 揭示用户信息披露的行为模式，包括性别差异。
• 提供一种用于 OSN 数据提取与行为研究的网络爬虫的详细技术设计。

提出的方法

• IMcrawler 基于 iMacros 技术构建，用于自动化浏览器导航与 Facebook 个人资料的数据提取。
• 爬虫收集两类主要数据类型：个人资料信息（如性别、所在地、教育背景）与动态活动（如帖子、点赞、评论）。
• 数据提取在合法框架内进行，遵守 Facebook 的服务条款，避免自动化登录或超出公开可见范围的数据抓取。
• 收集到的数据经过预处理，形成两个结构化数据集，以支持统计与语义分析。
• 应用统计分析以识别信息披露、活动频率及属性关系中的模式。
• 通过将个人属性与帖子内容及互动行为相关联，实现行为分析。

实验结果

研究问题

• RQ1 Facebook 用户在其个人资料中最常披露哪些个人资料信息？
• RQ2 性别差异如何影响 Facebook 个人资料中信息披露的模式与类型？
• RQ3 用户动态中最常发布的内容类型是什么？
• RQ4 在 Facebook 上，哪些用户活动（如发帖、点赞、评论）最为普遍？
• RQ5 个人属性与动态活动性质之间存在何种关系？

主要发现

• 研究发现，用户在其个人资料中频繁披露性别、所在地及教育背景等个人属性。
• 在信息披露模式上观察到性别差异，内容与属性共享呈现出显著不同的趋势。
• 动态活动分析表明，状态更新与照片发布是 Facebook 上最常执行的操作。
• 统计分析识别出个人属性与用户动态中分享内容类型之间存在显著相关性。
• 该数据采集方法成功提取了全面的数据集，且未违反 Facebook 的服务条款，从而支持深入的行为分析。
• 所提出的爬虫设计为 OSN 数据提取提供了一个可复现且合法的框架，特别适用于行为研究。