[논문 리뷰] WhatsApp, Doc? A First Look at WhatsApp Public Group Data

Kiran Garimella, Gareth Tyson|arXiv (Cornell University)|2018. 04. 04.

Complex Network Analysis Techniques참고 문헌 15인용 수 22

한 줄 요약

이 논문은 대규모 공개 WhatsApp 그룹 데이터를 수집하기 위한 새로운 재현 가능 방법론을 제시하며, 178개의 그룹, 45,454명의 사용자, 454,000条의 메시지를 포함한 데이터셋을 통해 실현 가능성을 입증한다. 연구는 그룹 주제, 활동 수준, 지리적 분포 면에서 높은 다양성을 보이며, 의사소통 동역학, 오락성 정보, 그리고 새로운 디지털 기관에 관한 사회과학 연구에 기여한다.

ABSTRACT

In this dataset paper we describe our work on the collection and analysis of public WhatsApp group data. Our primary goal is to explore the feasibility of collecting and using WhatsApp data for social science research. We therefore present a generalisable data collection methodology, and a publicly available dataset for use by other researchers. To provide context, we perform statistical exploration to allow researchers to understand what public WhatsApp group data can be collected and how this data can be used. Given the widespread use of WhatsApp, our techniques to obtain public data and potential applications are important for the community.

연구 동기 및 목표

• 공개 WhatsApp 그룹 데이터를 수집하고 분석하여 사회과학 연구의 실현 가능성을 탐색하기.
• 대규모 메시징 플랫폼 데이터에 대한 일반화 가능한 데이터 수집 방법론을 개발하기.
• 공개 WhatsApp 그룹 내 의사소통 패턴, 다양성, 편향을 특성화하기.
• WhatsApp 데이터가 오락성 정보, 사회 기관, 그리고 다문화 상호작용 연구에 어떻게 기여할 수 있는지 보여주기.
• 익명화된 데이터셋과 오픈소스 코드를 공개하여 재현 가능한 연구를 지원하기.

제안 방법

• joinwhatsappgroup.com와 같은 제3자 웹사이트에서 공개 목록에 등재된 WhatsApp 그룹을 크롤링하기.
• WhatsApp의 공개 그룹 초대 링크를 자동으로 활용해 그룹에 자동으로 가입하기.
• 분석을 위해 구조적이고 시간이 기록된 스키마에 따라 모든 메시지를 모니터링하고 로깅하기.
• 제목과 내용을 바탕으로 주제를 분류하기 위해 텍스트 분석 및 군집 기법 적용하기.
• 워드 클라우드와 통계 요약을 사용해 주제 분포 및 의사소통 패턴을 시각화하기.
• 사용자 식별자를 익명화하고, 재현 가능성을 확보하기 위해 전체 소스 코드와 함께 데이터셋을 공개하기.

실험 결과

연구 질문

• RQ1 WhatsApp 그룹은 얼마나 많은 방송, 다중방송, 단일방송 통신 수단인가?
• RQ2 공개 WhatsApp 그룹 내 상호작용 역학과 메시지 빈도는 시간이 지남에 따라 어떻게 변화하는가?
• RQ3 공개 WhatsApp 그룹의 사용자 지리적 분포는 어떠한가? 위치는 의사소통 패턴에 어떤 영향을 미치는가?
• RQ4 다양한 미디어 메시지가 WhatsApp 그룹 내 상호작용과 콘텐츠 확산에 어떤 영향을 미치는가?
• RQ5 WhatsApp 그룹 데이터는 오락성 정보, 디지털 기관, 그리고 대표되지 않은 지역에서의 사회 혁신 연구에 어떤 잠재력을 지니는가?

주요 결과

• 연구는 178개의 공개 WhatsApp 그룹을 포함한 데이터셋을 성공적으로 수집하였으며, 이는 45,454명의 사용자와 454,000조의 메시지를 포함하고 있어 WhatsApp에서 대규모 데이터 수집의 실현 가능성을 입증한다.
• 가장 큰 그룹인 'DISFRUTA AL MAXIMO'는 11,000개의 메시지를 기록했으며, 주로 콜롬비아에 기반하고 있어 지역적 참여도가 높음을 시사한다.
• 그룹 주제는 매우 다양했으며, 주요 카테고리로는 정치(17개 그룹), 스포츠(12개 그룹), 교육/취업 논의(23개 그룹) 등이 있었으며, 이는 광범위한 주제 커버리지를 반영한다.
• 지리적 다양성이 뚜렷했으며, 인도와 나이지리아와 같은 개발도상국에서 사용자 기반의 존재가 두드러져 WhatsApp가 대표되지 않은 인구 집단 연구에 유용할 수 있음을 시사한다.
• 데이터셋은 WhatsApp 그룹이 이원적 의사소통에 국한되지 않고, 특히 공통 관심사 기반으로 복잡한 다자간, 다중미디어 상호작용을 지원함을 보여주었다.
• 연구는 WhatsApp 그룹이 비공식적 일자리 시장 및 공동체 기반 정보 네트워크와 같은 새로운 사회적·경제적 기관의 플랫폼으로 기능할 수 있음을 발견했다.