[논문 리뷰] ASReview: Open Source Software for Efficient and Transparent Active Learning for Systematic Reviews.

Rens van de Schoot, Jonathan De Bruin외 14명|arXiv (Cornell University)|2020. 06. 22.

Scientific Computing and Data Management참고 문헌 47인용 수 16

한 줄 요약

ASReview는 시스템적 문헌 회색를 보다 빠르게 진행하기 위해 수동 스크리닝 노력을 줄이고도 높은 정확도를 유지하는 오픈소스 주도 학습 시스템입니다. 인간-중심 기계학습을 활용해 관련 연구를 우선순위로 정렬함으로써 수동 스크리닝에 비해 검토 시간을 크게 단축합니다.

ABSTRACT

For many tasks -- including guideline development for medical doctors and systematic reviews for research fields -- the scientific literature needs to be checked systematically. The current practice is that scholars and practitioners screen thousands of studies by hand to find which studies to include in their review. This is error prone and inefficient. We therefore developed an open source machine learning (ML)-aided pipeline: Active learning for Systematic Reviews (ASReview). We show that by using active learning, ASReview can lead to far more efficient reviewing than manual reviewing, while exhibiting adequate quality. Furthermore, the presented software is fully transparent and open source.

연구 동기 및 목표

• 시스템적 리뷰에서 수동 스크리닝의 비효율성과 높은 오류율 문제를 해결하기 위해.
• 주도 학습을 시스템적 리뷰 워크플로우에 통합한 투명하고 오픈소스 도구를 개발하기 위해.
• 기계학습을 활용해 관련성이 있는 연구를 우선순위로 정렬함으로써 리뷰어가 스크리닝해야 할 연구 수를 줄이기 위해.
• 완전한 투명성과 함께 인간-중심 학습을 통해 고품질 결과를 확보하기 위해.
• 연구자와 전문가들이 사용하기에 더 확장 가능하고 시간 소모가 적은 시스템적 리뷰 프로세스를 만들기 위해.

제안 방법

• ASReview는 주도 학습을 구현하여 기계학습 모델이 반복적으로 정보량이 가장 많은 연구를 인간의 검토를 위해 선택합니다.
• 시스템은 인간-중심 접근 방식을 사용하며, 리뷰어가 연구를 레이블링하고 모델이 피드백에 기반해 예측을 업데이트합니다.
• 정보 수확량을 극대화하기 위해 질문 전략을 사용하여 비관련 연구의 스크리닝 수를 줄입니다.
• 소프트웨어는 오픈소스 원칙에 기반하여 전체 리뷰 프로세스의 투명성과 재현 가능성을 보장합니다.
• 텍스트 표현 및 분류 모델의 다양한 유형을 지원하며, 주로 문헌 스크리닝에서의 관련성 예측에 중점을 둡니다.
• 워크플로우에 원활하게 통합되어 수동 스크리닝을 대체하거나 보완합니다.

실험 결과

연구 질문

• RQ1 주도 학습은 시스템적 리뷰에서 수동 스크리닝이 필요한 연구 수를 줄일 수 있는가?
• RQ2 정확도와 효율성 측면에서 ASReview의 성능은 수동 스크리닝과 비교해 어떻게 되는가?
• RQ3 ASReview는 리뷰 프로세스에서 투명성과 재현 가능성을 어느 정도 유지하는가?
• RQ4 ASReview는 수천 개의 연구를 포함한 대규모 시스템적 리뷰에 스케일링 가능한가?
• RQ5 인간 피드백은 모델이 관련 연구를 식별하는 데 어떤 영향을 미치는가?

주요 결과

• ASReview는 수동 스크리닝이 필요한 연구 수를 크게 줄여 효율성을 향상시킵니다.
• 관련 연구를 식별하는 데 높은 정확도를 유지하며, 수동 스크리닝과 비교해 유사하거나 더 낫습니다.
• 인간 피드백이 포함된 주도 학습은 무작위 또는 비상호작용 스크리닝에 비해 관련 연구에 더 빨리 수렴합니다.
• ASReview의 오픈소스 및 투명한 설계 덕분에 리뷰 프로세스의 재현 가능성과 신뢰성이 확보됩니다.
• 소프트웨어는 다양한 연구 분야에서 효과적이며 대규모 리뷰 데이터셋에 잘 스케일링됩니다.
• ASReview는 검토 시간을 줄이면서도 시스템적 리뷰 결과의 품질과 신뢰성을 유지합니다.