[논문 리뷰] Crowdbreaks: Tracking Health Trends using Public Social Media Data and Crowdsourcing

Martin Mueller, Marcel Salathé|arXiv (Cornell University)|2018. 05. 14.

Data-Driven Disease Surveillance참고 문헌 21인용 수 3

한 줄 요약

Crowdbreaks는 공개적이고 실시간인 플랫폼으로, 주로 트위터를 포함한 공공 소셜 미디어 데이터의 커뮤니티 기반 레이블링을 활용하여 활성 학습과 지속적인 모델 재학습을 통해 건강 트렌드를 추적한다. 자동화된 데이터 수집, 필터링, 레이블링 및 분류기 학습을 통해 개념 이탈과 높은 레이블링 비용 문제를 해결하며, 동적인, 투명한, 재사용 가능한 공중보건 감시 도구를 제공한다. 이는 백신 태도 모니터링 및 질병 관련 트렌드 추적에 실증된 유용성을 보였다.

ABSTRACT

In the past decade, tracking health trends using social media data has shown great promise, due to a powerful combination of massive adoption of social media around the world, and increasingly potent hardware and software that enables us to work with these new big data streams. At the same time, many challenging problems have been identified. First, there is often a mismatch between how rapidly online data can change, and how rapidly algorithms are updated, which means that there is limited reusability for algorithms trained on past data as their performance decreases over time. Second, much of the work is focusing on specific issues during a specific past period in time, even though public health institutions would need flexible tools to assess multiple evolving situations in real time. Third, most tools providing such capabilities are proprietary systems with little algorithmic or data transparency, and thus little buy-in from the global public health and research community. Here, we introduce Crowdbreaks, an open platform which allows tracking of health trends by making use of continuous crowdsourced labelling of public social media content. The system is built in a way which automatizes the typical workflow from data collection, filtering, labelling and training of machine learning classifiers and therefore can greatly accelerate the research process in the public health domain. This work introduces the technical aspects of the platform and explores its future use cases.

연구 동기 및 목표

• 개념 이탈과 오래된 학습 데이터로 인해 성능이 저하되는 정적이고 재사용 불가능한 NLP 모델의 한계를 해결하기 위해.
• 지속적인 커뮤니티 기반 레이블링 파이프라인을 구현하여 수동 데이터 레이블링의 높은 비용과 비효율성을 줄이기 위해.
• 실시간 다중 클래스 건강 트렌드 모니터링을 지원하는 투명하고 개방된 플랫폼을 만들어 공중보건 기관 및 연구자들이 활용할 수 있도록 하기 위해.
• evolving한 건강 행동과 감정을 추적하기 위해 민첩하고 재사용 가능하며 최신 상태인 기계학습 모델을 제공하기 위해.
• 스케일 수 있는 인간-자동 협업 레이블링을 통해 백신 회피나 질병 증상과 같은 세밀한 건강 관련 콘텐츠 분류를 지원하기 위해.

제안 방법

• 플랫폼은 키워드 기반 필터링을 통해 실시간 트위터 데이터를 수집하는 스트리밍 파이프라인을 사용한다.
• 예측 불확실성이 높고 최근성과 관련성이 높은 트윗을 우선순위로 정하여 레이블링하는 활성 학습 프레임워크를 구현한다.
• 커뮤니티 기반 레이블링은 Ruby on Rails와 PostgreSQL를 사용해 구축된 웹 기반 사용자 인터페이스를 통해 수집되며, 확장 가능한 데이터 레이블링을 가능하게 한다.
• 레이블링된 데이터는 fastText와 같은 지도 학습 기반 분류기(예: 감성 분석)를 지속적인 피드백 루프에서 재학습하는 데 사용된다.
• 시스템은 데이터 저장을 위해 Elasticsearch, 시각화를 위해 Kibana를 통합하며, Redis를 사용해 메시지 큐잉 및 우선순위 관리를 수행한다.
• Flask API는 스트리밍 파이프라인과 사용자 인터페이스를 연결하여 실시간 데이터 흐름과 모델 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 지속적이고 실시간적인 공공 소셜 미디어 데이터 레이블링은 건강 트렌드 탐지 모델의 강건성과 재사용 가능성에 어떻게 기여하는가?
• RQ2 불확실성 샘플링을 활용한 활성 학습은 건강 감시 환경에서 모델 성능을 유지하거나 향상시키면서도 레이블링 비용을 얼마나 줄일 수 있는가?
• RQ3 Google 플루 트렌드와 같은 전용 시스템의 한계를 극복하기 위해, 개방적이고 투명하며 커뮤니티 기반 플랫폼인 Crowdbreaks가 유의미한 성과를 낼 수 있는가?
• RQ4 플랫폼은 실시간으로 백신 회피와 같은 세밀한 건강 관련 감정을 얼마나 효과적으로 포착할 수 있는가?
• RQ5 시간적 관련성과 레이블 불확실성은 동적인 소셜 미디어 환경에서 데이터 레이블링 및 모델 학습의 효율성에 어떤 영향을 미치는가?

주요 결과

• Crowdbreaks는 지속적인 데이터 수집과 활성 학습 기반 레이블링을 통해 백신 태도와 같은 실시간 건강 트렌드 추적을 가능하게 한다.
• 최근 레이블링된 데이터로 모델을 재학습함으로써 개념 이탈을 효과적으로 완화하여 장기적인 모델 성능 향상과 재사용 가능성을 높인다.
• 불확실성과 최근성에 따라 데이터를 우선순위 정렬함으로써, 무작위 샘플링 대비 레이블링 비용을 줄이고 효율성을 높인다.
• 커뮤니티 기반 레이블링 데이터로 학습된 fastText 분류기는 백신 관련 트윗의 실시간 감성 분류에서 안정적인 성능을 기록했다.
• 플랫폼 아키텍처는 확장 가능하고 투명하며 확장 가능한 공중보건 감시를 지원하며, 위키백과 클릭 빈도와 같은 다른 데이터 소스와의 통합을 통해 하이브리드 질병 예측에 활용 가능성이 있다.
• 대규모 다중 클래스 레이블링을 위한 실현 가능성을 입증하여 세밀한 공중보건 모니터링을 가능하게 한다.