[논문 리뷰] Weibo-COV: A Large-Scale COVID-19 Social Media Dataset from Weibo

Yong Hu, Heyan Huang외 2명|arXiv (Cornell University)|2020. 05. 19.

Data-Driven Disease Surveillance참고 문헌 15인용 수 8

한 줄 요약

Weibo-COV는 2019년 12월 1일부터 2020년 4월 30일까지, API 제한을 우회하는 새로운 활성 사용자 풀 기반 데이터 수집 방법을 사용해 수집한 총 4090만 건의 코로나19 관련 웨이보 게시글로 구성된 대규모이고 세분화된 데이터셋이다. 이 데이터셋은 게시글 수준의 정보, 상호작용, 위치, 재게시 네트워크 정보를 포함하여 팬데믹 역학, 대중의 정서, 정책 영향에 대한 종합적인 연구를 가능하게 한다.

ABSTRACT

With the rapid development of COVID-19 around the world, people are requested to maintain "social distance" and "stay at home". In this scenario, extensive social interactions transfer to cyberspace, especially on social media platforms like Twitter and Sina Weibo. People generate posts to share information, express opinions and seek help during the pandemic outbreak, and these kinds of data on social media are valuable for studies to prevent COVID-19 transmissions, such as early warning and outbreaks detection. Therefore, in this paper, we release a novel and fine-grained large-scale COVID-19 social media dataset collected from Sina Weibo, named Weibo-COV, contains more than 40 million posts ranging from December 1, 2019 to April 30, 2020. Moreover, this dataset includes comprehensive information nuggets like post-level information, interactive information, location information, and repost network. We hope this dataset can promote studies of COVID-19 from multiple perspectives and enable better and rapid researches to suppress the spread of this pandemic.

연구 동기 및 목표

• 코로나19 연구를 위한 대규모이고 공개 가능한 중국어 소셜미디어 데이터셋, 특히 팬데믹의 기원지인 우한에서의 데이터가 부족한 문제를 해결하기 위해.
• 웨이보 공식 API가 약 1,000건의 게시글로 출력을 제한하는 점을 극복하기 위해 확장 가능한 데이터 수집 방법을 개발하기 위해.
• 팬데믹 초기 단계 동안 대중의 정서, 정보 공유, 사회적 동향을 캡처하는 고품질의 대규모 데이터셋을 구축하기 위해.
• 실시간 소셜미디어 데이터를 활용해 질병 감시, 대중 여론, 정책 영향, 글로벌 확산에 대한 다양한 연구를 지원하기 위해.

제안 방법

• 최소 기준(50명 이상 팔로워, 50명 이상 팔로워, 50건 이상 게시글, 최근 30일 이내 활동)을 기반으로 필터링하여 총 2,000만 명의 고품질 웨이보 활성 사용자 풀을 구축하였다.
• 지정된 기간(2019년 12월 1일 ~ 2020년 4월 30일) 동안 이 활성 사용자들이 게시한 모든 게시글을 수집하여, API 기반 방법에 비해 훨씬 더 큰 데이터 양을 확보하였다.
• 코로나19와 관련된 179개의 대표적 키워드를 사용해 게시글을 필터링하여 관련성 높은 콘텐츠를 추출하고, 데이터셋의 정밀도를 보장하였다.
• 게시글 생성 시간, 좋아요/재게시/댓글 수, 지리적 좌표, 재게시 네트워크 링크 등 풍부한 메타데이터를 수집하고 구조화하였다.
• 전체 시간 창 동안 데이터의 최신성과 확장 가능성을 확보하기 위해 활성 사용자 풀을 동적으로 유지 관리하였다.
• 재현 가능성을 보장하고 광범위한 연구 활용을 지원하기 위해 GitHub를 통해 최종 데이터셋과 포괄적인 문서를 공개하였다.

실험 결과

연구 질문

• RQ1 첫 번째 확진 사례 이후 팬데믹의 정점에 이르기까지 중국 소셜미디어에서 코로나19에 대한 대중의 정서와 정보 공유 방식은 어떻게 변화했는가?
• RQ2 팬데믹 초기 단계 동안 소셜미디어는 건강 정보, 소문, 정부 정책의 확산에 어떤 역할을 했는가?
• RQ3 웨이보 게시글의 지리적 분포는 지역적 및 글로벌 팬데믹 영향, 특히 국제적 중국 이민 커뮤니티를 어떻게 반영하고 있는가?
• RQ4 2020년 4월 4일 중국의 추모의 날에 관련된 주요 사건들에 대한 게시글에서 사용자 참여(좋아요, 댓글, 재게시) 패턴은 어떠한가?
• RQ5 대규모 다변량 소셜미디어 데이터는 향후 팬데믹에 대한 조기 경보 시스템과 공중보건 대응 전략을 어떻게 향상시킬 수 있는가?

주요 결과

• 데이터셋은 총 40,893,953건의 고유한 게시글을 포함하고 있으며, 이 중 1,119,608건(2.7%)은 지리적 위치 정보를 포함하고 있고, 8,284,992건(20.26%)은 원본이자 재게시되지 않은 콘텐츠이다.
• 1월 19일 이전에는 하루 평균 1만 건 미만의 게시글이 있었으나, 이후 하루 평균 20만 건 이상으로 급증하여, 2020년 4월 4일에 하루 180만 건 이상으로 정점에 도달하였다.
• 2020년 4월 4일의 급격한 증가는 팬데믹 피해자들을 기리는 국가 차원의 애도의 날과 겹쳐, 소셜미디어에서 강한 정서적 및 기념적 표현이 이루어졌음을 시사한다.
• 지리적 분포 분석 결과, 대부분의 게시글은 중국에서 유래했지만, 아시아, 유럽, 오스트레일리아, 아메리카 등 해외 지역에서도 상당수의 게시글이 확인되어 글로벌 중국인 및 국제적 웨이보 사용자 참여를 반영하고 있다.
• 워드 클라우드 분석을 통해 공적 논의의 변화를 확인할 수 있었다: 초기에는 불명확한 폐렴('unexplained pneumonia')에 대한 불안정함에서 시작해, 바이러스에 대한 인식('new coronavirus'), 예방 조치('N95 mask')로 이어졌고, 이후에는 격리, 수입 사례, 리모데시비르와 같은 치료법에 대한 관심으로 이어졌다.
• 이 데이터셋은 첫 번째 확진 사례부터 2020년 4월 말까지의 팬데믹 초기 단계를 모두 포함하여, 정보 확산과 행동 변화에 대한 종단적 연구를 가능하게 한다.