[논문 리뷰] Design and Implementation of iMacros-based Data Crawler for Behavioral Analysis of Facebook Users.

Mudasir Ahmad Wani, Nancy Agarwal외 2명|arXiv (Cornell University)|2018. 02. 18.

Web Data Mining and Analysis참고 문헌 24인용 수 12

한 줄 요약

이 논문은 법적 범위 내에서 개인 및 월 활동 데이터를 페이스북 프로필에서 추출하는 iMacros 기반 웹 크롤러인 IMcrawler를 제시한다. 이는 사용자 행동 분석을 가능하게 하며, 데이터를 수집하고 전처리하여 두 가지 데이터셋을 생성하여 성별에 따른 정보 공개 차이와 온라인 활동 패턴을 드러낸다.

ABSTRACT

Obtaining the desired dataset is still a prime challenge faced by researchers while analysing Online Social Network (OSN) sites. Application Programming Interfaces (APIs) provided by OSN service providers for retrieving data impose several unavoidable restrictions which make it difficult to get a desirable dataset. In this paper, we present an iMacros technology-based data crawler called IMcrawler,capable of collecting every piece of information which is accessible through a browser from the Facebook website within the legal framework reauthorized by Facebook.The proposed crawler addresses most of the challenges allied with web data extraction approaches and most of the APIs provided by OSN service providers. Two broad sections have been extracted from Facebook user profiles, namely, Personal Information and Wall Activities. The collected data is pre-processed into two datasets and each data set is statistically analysed to draw semantic knowledge and understand the several behavioral aspects of Facebook users such as kind of information mostly disclosed by users, gender differences in the pattern of revealed information, highly posted content on the network, highly performed activities on the network, the relationships among personal and post attributes, etc. To the best of our knowledge, the present work is the first attempt towards providing the detailed description of crawler design and gender-based information revealing behaviour of Facebook users.

연구 동기 및 목표

• 제한된 API 접근성으로 인한 온라인 소셜 네트워크(OSN)에서의 데이터 접근 곤경을 해결하기 위해.
• 페이스북의 API 제한을 우회할 수 있는 법적이고 브라우저 기반의 데이터 수집 방법을 개발하기 위해.
• 페이스북 프로필에서 개인 정보 및 월 활동이라는 두 가지 핵심 데이터 유형을 추출하고 분석하기 위해.
• 성별 기반 차이를 포함한 사용자 정보 공개 행동 패턴을 밝혀내기 위해.
• OSN 데이터 추출 및 행동 연구를 위한 웹 크롤러의 구체적인 기술 설계를 제공하기 위해.

제안 방법

• IMcrawler는 iMacros 기술을 사용하여 페이스북 프로필에서 브라우저 기반 탐색 및 데이터 추출을 자동화한다.
• 크롤러는 주로 두 가지 데이터 유형을 수집한다: 개인 정보(예: 성별, 위치, 교육 배경) 및 월 활동(예: 게시물, 좋아요, 댓글).
• 법적 틀 내에서 데이터 추출이 수행되며, 자동 로그인이나 공개된 내용을 초월한 데이터 스크래핑을 방지함으로써 페이스북의 이용 약관을 준수한다.
• 수집된 데이터는 통계적 및 의미적 분석을 위해 두 개의 구조화된 데이터셋으로 전처리된다.
• 통계적 분석을 통해 정보 공개 패턴, 활동 빈도 및 속성 간 관계를 식별한다.
• 개인적 속성과 게시물 내용, 상호작용 행동 간의 상관관계를 통해 행동 분석이 가능해진다.

실험 결과

연구 질문

• RQ1 페이스북 사용자가 자신의 프로필에서 가장 흔히 공개하는 개인 정보는 무엇인가?
• RQ2 성별 차이가 페이스북 프로필에 공개되는 정보의 패턴과 유형에 어떻게 영향을 미치는가?
• RQ3 사용자 월에 가장 자주 게시되는 콘텐츠 유형은 무엇인가?
• RQ4 게시, 좋아요, 댓글과 같은 사용자 활동 중 어느 것이 가장 흔한가?
• RQ5 개인적 속성과 월 활동의 성격 사이에 어떤 관계가 존재하는가?

주요 결과

• 연구 결과, 사용자들이 프로필에서 성별, 위치, 교육 배경과 같은 개인적 속성을 자주 공개하는 것으로 나타났다.
• 성별 기반의 정보 공개 패턴에서 차이를 관찰하였으며, 콘텐츠 및 속성 공유에 있어 뚜렷한 추세가 존재했다.
• 월 활동 분석 결과, 상태 업데이트와 사진 게시가 페이스북에서 가장 흔히 수행되는 행동으로 나타났다.
• 통계적 분석을 통해 개인적 속성과 사용자 월에 공유되는 콘텐츠 유형 간에 유의미한 상관관계가 확인되었다.
• 데이터 수집 방법은 페이스북의 이용 약관을 위반하지 않으면서도 포괄적인 데이터셋을 성공적으로 추출하여 심층적인 행동 분석을 가능하게 하였다.
• 제안된 크롤러 설계는 OSN 데이터 추출을 위한 재현 가능하고 법적 틀을 갖춘 프레임워크를 제공하며, 특히 행동 연구에 매우 유용하다.