[논문 리뷰] CODA-19: Using a Non-Expert Crowd to Annotate Research Aspects on 10,000+ Abstracts in the COVID-19 Open Research Dataset

Ting-Hao Huang, Chieh-Yang Huang외 3명|arXiv (Cornell University)|2020. 08. 17.

Misinformation and Its Impacts참고 문헌 57인용 수 11

한 줄 요약

CODA-19는 아마존 메카니컬 터크에서 248명의 전문가가 아닌 작업자들을 통해 10,966건의 코로나19 연구 초록을 배경, 목적, 방법, 결과/기여, 기타 항목으로 주석 처리한 커뮤니티 기반 데이터셋이다. 이 방법은 전문가 수준의 일致도(코HEN의 카파 = 0.741)와 전문가 레이블 대비 82.2%의 정확도를 달성하여, 비전문가들이 대규모로 고품질 주석을 신속하게 생성할 수 있음을 입증한다.

ABSTRACT

This paper introduces CODA-19, a human-annotated dataset that codes the Background, Purpose, Method, Finding/Contribution, and Other sections of 10,966 English abstracts in the COVID-19 Open Research Dataset. CODA-19 was created by 248 crowd workers from Amazon Mechanical Turk within 10 days, and achieved labeling quality comparable to that of experts. Each abstract was annotated by nine different workers, and the final labels were acquired by majority vote. The inter-annotator agreement (Cohen's kappa) between the crowd and the biomedical expert (0.741) is comparable to inter-expert agreement (0.788). CODA-19's labels have an accuracy of 82.2% when compared to the biomedical expert's labels, while the accuracy between experts was 85.0%. Reliable human annotations help scientists access and integrate the rapidly accelerating coronavirus literature, and also serve as the battery of AI/NLP research, but obtaining expert annotations can be slow. We demonstrated that a non-expert crowd can be rapidly employed at scale to join the fight against COVID-19.

연구 동기 및 목표

• 과학적 발견과 인공지능 연구를 지원하기 위해 급격히 증가하는 코로나19 문헌에 대해 신속하고 확장 가능하며 정확한 주석 처리가 필요한 긴급한 필요성을 해결한다.
• 특히 공중보건 급재난 상황에서 느리고 자원을 많이 소모하는 전문가 주석 처리의 한계를 극복한다.
• 비전문가 커뮤니티 작업자들이 연구 초록 주석 처리에서 생물의학 전문가 수준의 레이블링 품질을 달성할 수 있음을 입증한다.
• 팬데믹 상황에서 과학 문헌의 NLP 모델 훈련 및 평가를 위한 대규모, 신뢰할 수 있고 재사용 가능한 데이터셋을 구축한다.
• 코로나19 오픈 연구 데이터셋에서 구조화된 정보에 더 빠르게 접근하기 위해 표준화된 인간 주석 기반의 연구 논문 요소를 제공한다.

제안 방법

• 코로나19 오픈 연구 데이터셋의 10,966건의 영문 초록을 대상으로 아마존 메카니컬 터크에서 248명의 비전문가 작업자들을 모집하여 주석 처리를 수행한다.
• 각 초록은 9명의 다른 작업자에 의해 주석 처리되어 신뢰성과 개인적 편향을 줄이는 데 기여한다.
• 모든 9개 주석에 대한 다수결 투표를 적용하여 각 초록 섹션의 최종 레이블을 결정한다.
• 비전문가 작업자와 생물의학 전문가 간의 상호 주석자 일致도를 측정하기 위해 코헨의 카파를 사용하여 신뢰성을 확보한다.
• 최종 레이블을 생물의학 전문가가 주석 처리한 골드 표준 세트와 비교하여 정확도 및 일致도 지표를 계산한다.
• 다섯 가지 주석 카테고리에 집중한다: 배경, 목적, 방법, 결과/기여, 기타.

실험 결과

연구 질문

• RQ1 비전문가 커뮤니티 작업자들이 패닉 상황에서 과학 연구 초록에 대해 신뢰할 수 있고 정확한 주석을 생성할 수 있는가?
• RQ2 비전문가 커뮤니티 작업자와 생물의학 전문가 간의 상호 주석자 일致도가 전문가 간 일致도와 비교해 어떻게 되는가?
• RQ3 최종 커뮤니티 주석 레이블이 전문가가 주석 처리한 골드 표준과 비교해 정확도는 어느 정도인가?
• RQ4 확장 가능한 비전문가 주석 파이프라인은 시간이 급한 연구 환경에서 전문가 기반 주석 처리 수준의 품질을 달성할 수 있는가?
• RQ5 커뮤니티 기반 주석은 하류 NLP 및 과학 문헌 통합 작업을 어느 정도 지원할 수 있는가?

주요 결과

• 비전문가 커뮤니티 작업자와 생물의학 전문가 간의 상호 주석자 일致도는 0.741(Cohen’s kappa)로, 전문가 간 일致도 0.788과 유사한 수준이다.
• 최종 커뮤니티 주석 레이블은 전문가가 주석 처리한 골드 표준과 비교해 82.2%의 정확도를 기록했다.
• 전문가 주석 레이블은 약간 더 높은 정확도 85.0%를 보였으며, 이는 커뮤니티가 매우 신뢰할 수 있지만 전문가가 약간 더 정확하다는 것을 시사한다.
• 10,966건의 초록 전체 데이터셋이 10일 이내에 주석 처리되어 매우 확장 가능하고 시간 효율적인 과정임을 입증했다.
• 9명의 주석자 간 다수결 투표를 통해 레이블의 신뢰성이 크게 향상되었고, 개인의 일관성 부족으로 인한 노이즈가 감소했다.
• 결과적으로 비전문가 커뮤니티를 효과적으로 활용해 대규모 과학 문헌에 대해 고품질의 구조화된 주석을 생성할 수 있음을 검증했다.