[논문 리뷰] A large-scale Twitter dataset for drug safety applications mined from publicly existing resources

Ramya Tekumalla, Juan M. Banda|arXiv (Cornell University)|2020. 03. 31.

Social Media in Health Education인용 수 15

한 줄 요약

이 논문은 키워드 기반 필터링을 사용하여 94억 건의 트윗 아카이브에서 1,181,993건의 약물 사용 관련 트윗을 추출한 대규모 공개 트윗 데이터셋을 제시한다. 이 데이터셋은 문헌에서 수집한 수작업으로 검증된 ADR 데이터셋을 기반으로 기계학습을 통해 검증되었으며, 비용이 많이 들거나 복잡한 크롤링 또는 수작업 레이블링이 필요 없이 약물 안전성 연구를 위한 확장 가능한 비용 효율적인 데이터 수집을 가능하게 한다.

ABSTRACT

With the increase in popularity of deep learning models for natural language processing (NLP) tasks, in the field of Pharmacovigilance, more specifically for the identification of Adverse Drug Reactions (ADRs), there is an inherent need for large-scale social-media datasets aimed at such tasks. With most researchers allocating large amounts of time to crawl Twitter or buying expensive pre-curated datasets, then manually annotating by humans, these approaches do not scale well as more and more data keeps flowing in Twitter. In this work we re-purpose a publicly available archived dataset of more than 9.4 billion Tweets with the objective of creating a very large dataset of drug usage-related tweets. Using existing manually curated datasets from the literature, we then validate our filtered tweets for relevance using machine learning methods, with the end result of a publicly available dataset of 1,181,993 million tweets for public use. We provide all code and detailed procedure on how to extract this dataset and the selected tweet ids for researchers to use.

연구 동기 및 목표

• 약물 안전성 연구를 위한 대규모 소셜 미디어 데이터 확보의 스케일링 및 비용 문제를 해결하기 위해.
• 비용이 많이 드는 트위터 크롤링이나 수작업 레이블링에 의존하는 것을 줄이기 위해 공개된 아카이브 데이터를 재사용함으로써.
• 약물 사용 관련 트윗을 대상으로 한 대규모이고 검증된 데이터셋을 구축하여 약물유효성평가(NLP) 모델의 훈련 및 평가에 활용하기 위해.
• 공개된 트위터 아카이브에서 약물 관련 트윗을 추출하고 검증하는 재현 가능하고 오픈소스 기반의 파이프라인을 제공하기 위해.
• 실제 세계의 소셜 미디어 데이터를 활용하여 자동화된 약물 부작용(ADE) 탐지 시스템 개발을 지원하기 위해.

제안 방법

• 94억 건 이상의 트윗을 포함한 공개된 아카이브 데이터셋을 원천 데이터로 사용함.
• 키워드 기반 필터링을 적용하여 전체 아카이브에서 약물 사용 관련 트윗을 추출함.
• 문헌에서 수집한 수작업으로 검증된 ADR 데이터셋을 기반으로 훈련된 기계학습 모델을 활용해 필터링된 트윗의 관련성을 검증함.
• 정밀도를 높이기 위해 다단계의 필터링 및 검증 파이프라인을 구현함.
• 최종 데이터셋과 함께 전체 코드 및 절차를 공개하여 재현성과 재사용 가능성을 확보함.
• 표준 NLP 기법을 사용하여 필터링 및 분류를 수행하였지만, 요약에서는 구체적인 모델 또는 아키텍처에 대한 기술이 포함되어 있지 않음.

실험 결과

연구 질문

• RQ1 기존의 아카이브된 데이터 소스에서 공개된 대규모 트윗 데이터셋을 효과적으로 추출하여 약물 안전성 응용에 활용할 수 있는가?
• RQ2 대규모 비지도 설정에서 기계학습 모델이 약물 관련 트윗의 관련성을 얼마나 정확하게 검증할 수 있는가?
• RQ3 키워드 기반 필터링과 기계학습 검증을 조합함으로써 약물유효성평가 데이터 수집에서 수작업 레이블링의 필요성을 얼마나 줄일 수 있는가?
• RQ4 기존 트위터 아카이브를 재사용하는 파이프라인의 확장성과 재현 가능성은 어떠한가?
• RQ5 이러한 데이터셋은 약물 부작용 탐지에 초점을 맞춘 NLP 모델의 훈련 및 평가를 위한 신뢰할 수 있는 기준점으로 기능할 수 있는가?

주요 결과

• 최종 데이터셋은 94억 건의 트윗 아카이브에서 추출한 1,181,993건의 고품질 약물 사용 관련 트윗을 포함한다.
• 기계학습 검증 절차는 키워드 기반 필터링만을 사용한 경우에 비해 필터링된 데이터셋의 정밀도를 크게 향상시켰다.
• 데이터셋은 전체 코드 및 문서와 함께 공개되어 있어 연구 공동체가 재현성과 재사용을 가능하게 한다.
• 데이터 수집을 위한 고비용의 트위터 API 접근이나 시간이 많이 소요되는 수작업 레이블링이 필요 없어졌다.
• 이 방법은 거대한 양의 소셜 미디어 데이터를 처리하는 데 효과적으로 스케일링되며, 약물유효성평가 분야의 대규모 NLP 응용에 적합하다.
• 이 데이터셋은 약물 부작용 탐지 및 관련 작업에 초점을 맞춘 NLP 모델의 훈련 및 평가에 적합하다.