[논문 리뷰] Crowdsourcing Information Extraction for Biomedical Systematic Reviews

Yalin Sun, Pengxiang Cheng외 5명|arXiv (Cornell University)|2016. 09. 05.

Mobile Crowdsensing and Crowdsourcing참고 문헌 4인용 수 12

한 줄 요약

이 연구는 체계적 문헌 고찰을 위한 생물의학적 간섭 데이터를 임상 시험 초록에서 구조화된 방식으로 추출하는 데에 커뮤니티 기반 작업을 사용할 수 있는지 탐색한다. CrowdFlower에서 명확한 지침, 검증 절차, 품질 관리 조치를 포함한 작업을 설계함으로써, 전문가가 아닌 작업자들이 전문가 추출 비용의 일부에 불과한 비용으로도 합리적인 정확도(예: 핵심 분야에서 70% 이상)를 달성할 수 있음을 입증하였으며, 이는 증거 기반 의학의 데이터 수집을 위한 확장 가능한 대안으로서의 커뮤니티 기반 작업의 가능성을 시사한다.

ABSTRACT

Information extraction is a critical step in the practice of conducting biomedical systematic literature reviews. Extracted structured data can be aggregated via methods such as statistical meta-analysis. Typically highly trained domain experts extract data for systematic reviews. The high expense of conducting biomedical systematic reviews has motivated researchers to explore lower cost methods that achieve similar rigor without compromising quality. Crowdsourcing represents one such promising approach. In this work-in-progress study, we designed a crowdsourcing task for biomedical information extraction. We briefly report the iterative design process and the results of two pilot testings. We found that giving more concrete examples in the task instruction can help workers better understand the task, especially for concepts that are abstract and confusing. We found a few workers completed most of the work, and our payment level appeared more attractive to workers from low-income countries. In the future, we will further evaluate our results with reference to gold standard extractions, thus assessing the feasibility of tasking crowd workers with extracting biomedical intervention information for systematic reviews.

연구 동기 및 목표

• 커뮤니티 기반 작업이 생물의학 분야의 체계적 문헌 고찰에서 전문가 기반 데이터 추출의 비용 효율적인 대안이 될 수 있는지 탐색하기 위해.
• 임상 시험 초록에서 구조화된 간섭 데이터(예: 복용량, 기간, 투여 경로)를 추출하기 위한 커뮤니티 기반 작업을 설계하고 반복적으로 개선하기 위해.
• 세부 지침, 필수 항목, 품질 관리 메커니즘과 같은 작업 설계 요소들이 작업자 성과와 데이터 품질에 미치는 영향을 평가하기 위해.
• 이 접근법을 대규모 체계적 문헌 고찰 데이터 추출에 확장 가능한지의 가능성을 평가하기 위해.
• 커뮤니티 기반 결과를 골드 표준 애너테이션과 비교하여 주요 데이터 항목에서의 정확도를 평가하기 위해.

제안 방법

• 작업는 CrowdFlower 플랫폼에 배포되어, 작업자들이 96개의 이행성 무작위 대조 시험(RCT) 초록에서 복용량, 기간, 투여 경로, 스케줄 등의 간섭 정보를 구조화된 텍스트 상자에 추출하였다.
• 각 초록은 세 명의 평가자에게 할당되었으며, 신뢰도를 높이기 위해 다수결 투표 방식으로 결과를 집계하였다.
• 저품질 작업자를 걸러내기 위해 23개의 '쉬운' 초록을 포함한 사전 스크리닝 퀴즈를 사용하였으며, 일관성 모니터링을 위해 추가로 '허니팟' 예제를 삽입하였다.
• 피봇 피드백을 바탕으로 작업 설계를 반복적으로 개선하였으며, 필수 항목 검증기와 더 많은 레이블링 예시를 포함한 명확한 지침을 추가하였다.
• 두 번째 피봇에서 작업자들을 영어를 모국어로 사용하는 국가로 제한하여 지침 이해도와 데이터 품질을 향상시켰다.
• 정확도와 일관성을 중시하여, 테스트 질문과 작업자 만족도 지표를 활용해 데이터 품질을 평가하였다.

실험 결과

연구 질문

• RQ1 비전문가 커뮤니티 작업자들이 임상 시험 초록에서 생물의학적 간섭 데이터를 구조화된 방식으로 정확하게 추출할 수 있는가?
• RQ2 지침, 필수 항목, 품질 관리 메커니즘과 같은 작업 설계 요소들이 데이터 품질과 작업자 성과에 어떤 영향을 미치는가?
• RQ3 작업자를 영어를 모국어로 사용하는 국가로 제한함으로써 데이터 정확도와 일관성에 어떤 영향을 미치는가?
• RQ4 주요 항목인 치료 이름, 복용량, 표본 크기에서 커뮤니티 기반 추출 데이터의 정확도가 골드 표준 애너테이션과 비교해 어떻게 되는가?
• RQ5 체계적 문헌 고찰에서 전문가 기반 데이터 추출에 비해 상당히 낮은 비용으로 커뮤니티 기반 작업이 충분한 정확도를 달성할 수 있는가?

주요 결과

• 두 번째 피봇 테스트에서 테스트 질문에 대한 정확도가 94.3%로 나타나, 설계 개선 후 작업자 이해도와 성과가 향상된 것으로 나타났다.
• 두 번째 피봇에서 작업자 만족도 점수가 크게 향상되었으며, 특히 지침 명확도, 작업 용이성, 테스트 질문의 공정성 측면에서 뚜렷한 개선이 있었다.
• 설계 개선 이후 추출된 답변의 형식이 훨씬 더 깔끔하고 일관성 있게 개선되었으며, 특히 필수 항목과 더 명확한 예시 도입 덕분이었다.
• 작업의 상당 부분이 소수의 작업자들에 의해 수행된 것으로 나타나, 커뮤니티 기반 작업에서 잠재적인 작업량 불균형 문제가 존재할 수 있음을 시사했다.
• 일부 작업자들은 보상이 공정하지 않다고 느꼈으며, 이는 현재 보상 수준이 작업자 유지를 위한 동기 부여를 위해 조정이 필요할 수 있음을 시사한다.
• 골드 표준 애너테이션과의 초보적 비교 결과, 표본 크기, 치료군 크기, 간섭 이름과 같은 핵심 항목에서 정확도가 0.70을 초과하는 것으로 나타났다.