[논문 리뷰] Predicting drug recalls from Internet search engine queries

Elad Yom‐Tov|arXiv (Cornell University)|2016. 11. 27.

Data-Driven Disease Surveillance참고 문헌 11인용 수 9

한 줄 요약

이 연구는 미국 식품의약국(FDA) 약물 회수를 사전 예측하기 위해 빙 검색 엔진에서 수집한 집계된 인터넷 검색 쿼리 빈도를 사용하는 것을 제안한다. 특정 의약품에 대한 검색 빈도의 주 단위 급증을 분석함으로써, 이 방법은 1일 전망 시 AUC 0.791과 약 6배의 리프트(5% 기준)를 달성하였으며, 처방약 및 중간 위험도 약물의 경우 성능이 더 높았다.

ABSTRACT

Batches of pharmaceutical are sometimes recalled from the market when a safety issue or a defect is detected in specific production runs of a drug. Such problems are usually detected when patients or healthcare providers report abnormalities to medical authorities. Here we test the hypothesis that defective production lots can be detected earlier by monitoring queries to Internet search engines. We extracted queries from the USA to the Bing search engine which mentioned one of 5,195 pharmaceutical drugs during 2015 and all recall notifications issued by the Food and Drug Administration (FDA) during that year. By using attributes that quantify the change in query volume at the state level, we attempted to predict if a recall of a specific drug will be ordered by FDA in a time horizon ranging from one to 40 days in future. Our results show that future drug recalls can indeed be identified with an AUC of 0.791 and a lift at 5% of approximately 6 when predicting a recall will occur one day ahead. This performance degrades as prediction is made for longer periods ahead. The most indicative attributes for prediction are sudden spikes in query volume about a specific medicine in each state. Recalls of prescription drugs and those estimated to be of medium-risk are more likely to be identified using search query data. These findings suggest that aggregated Internet search engine data can be used to facilitate in early warning of faulty batches of medicines.

연구 동기 및 목표

• 인터넷 검색 쿼리 패턴이 FDA 약물 회수의 조기 신호로 기능할 수 있는지 조사하기.
• 특정 약물에 대한 갑작스러운 검색 빈도 증가가 이후 회수와 관련이 있는지 확인하기.
• 1~40일 전망 기간 동안 회수를 예측하기 위해 검색 쿼리 데이터의 예측 성능 평가하기.
• 특정 약물 카테고리(예: 처방약, 위험도 수준 등)가 검색 데이터를 통해 예측 가능한지 결정하기.
• 공개 검색 엔진 데이터를 실시간 약물 안전 문제 경고 시스템으로 활용할 수 있는지 탐색하기.

제안 방법

• 2015년 동안 미국 주별로 빙 검색 엔진에서 5,195종의 의약품에 대한 일일 검색 쿼리 빈도를 수집하였다.
• 동일 기간 동안 FDA 공공 데이터베이스에서 회수 공고를 추출하였다.
• 특히 주 단위에서의 검색 빈도 변화, 특히 급격한 상승에 초점을 맞춰 특징을 구축하였다.
• 이러한 빈도 변화 특징을 기반으로 1~40일 이내에 회수가 발생할지 예측하기 위해 기계학습 분류기 모델을 훈련시켰다.
• 모델 성능 평가를 위해 AUC와 상위 5% 예측에서의 정밀도(리프트 at 5%)를 사용하였다.
• 약물 유형(예: 처방약 대 비처방약)과 회수 위험도 수준(저위험, 중간위험, 고위험)에 따라 하위군 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 특정 약물에 대한 갑작스러운 인터넷 검색 빈도 증가가 향후 FDA 약물 회수를 예측할 수 있는가?
• RQ2 검색 쿼리 데이터를 사용한 회수 예측의 정확도는 얼마이며, 전망 기간에 따라 성능가 어떻게 변하는가?
• RQ3 예를 들어 처방약 또는 비처방약 등 어떤 종류의 약물이 검색 데이터를 통해 더 예측 가능한가?
• RQ4 회수의 위험 수준(저위험, 중간위험, 고위험)이 검색 쿼리 패턴을 통한 감지 가능성에 영향을 미치는가?
• RQ5 주 단위의 검색 빈도 변화는 회수 예측의 시기성과 정확도를 향상시킬 수 있는가?

주요 결과

• 1일 전망 시 모델은 수신자 작동 특성 곡선 아래 면적(AUC)이 0.791을 기록하였다.
• 모델은 상위 5%의 회수 사건을 선별할 때 무작위 선택 대비 약 6배 높은 정밀도를 보이며, 5% 기준 리프트 약 6을 기록하였다.
• 전망 기간이 길어질수록 예측 성능이 저하되었으며, 40일 전망 시 AUC 값이 낮아졌다.
• 특정 약물에 대해 주 단위에서의 갑작스러운 검색 빈도 급증이 회수 예측에 가장 유의미한 특징이었다.
• 처방약과 중간 위험도로 분류된 약물은 검색 쿼리 데이터를 통해 사전에 더 잘 감지될 수 있었다.
• 결과는 집계된 검색 엔진 데이터가 결함 있는 약물 배치에 대한 실질적인 조기 경고 신호로 활용될 수 있음을 시사한다.