[논문 리뷰] CrowdRev: A platform for Crowd-based Screening of Literature Reviews

Jorge Ramírez, Evgeny Krivosheev외 3명|arXiv (Cornell University)|2018. 05. 31.

Mobile Crowdsensing and Crowdsourcing참고 문헌 18인용 수 12

한 줄 요약

CrowdRev는 체계적 문헌 회귀 분석(SLRs)에서 논문 걸러내기의 속도를 높이고 비용을 절감하기 위해 동적 베이지안 기반 투표 전략인 '최단 실행'(Shortest Run, SR)을 사용하는 커뮤니티 및 AI 기반 플랫폼입니다. 저자는 시간과 비용의 일부에 불과한 수준에서 저자 수준의 분류 정확도를 달성하며, 낭비되는 지출을 방지하기 위해 어려운 케이스를 자동으로 포기합니다.

ABSTRACT

In this paper and demo we present a crowd and crowd+AI based system, called CrowdRev, supporting the screening phase of literature reviews and achieving the same quality as author classification at a fraction of the cost, and near-instantly. CrowdRev makes it easy for authors to leverage the crowd, and ensures that no money is wasted even in the face of difficult papers or criteria: if the system detects that the task is too hard for the crowd, it just gives up trying (for that paper, or for that criteria, or altogether), without wasting money and never compromising on quality.

연구 동기 및 목표

• 체계적 문헌 회귀 분석(SLRs)에서 수작업 걸러내기의 증가하는 부담과 비효율성 문제를 해결하기 위해, 이는 종종 수개월이 걸리며 관련 연구를 놓칠 위험이 있습니다.
• 전문가 저자 수준의 분류 정확도를 유지하면서 SLR 걸러내기의 비용과 시간을 줄이기 위해.
• 비용이 많이 들거나 해결이 어려운 결정을 피하기 위해, 어떤 (논문, 기준) 조합을 공동으로 처리할지를 지능적으로 선택하는 시스템을 개발하기 위해.
• 기준, 투표, 결정 로직을 기록하여 재현 가능성과 감사 가능성을 확보함으로써 걸러내기 과정의 투명성을 제공하기 위해.
• 비전문가 저자와 고급 연구자 모두를 지원하기 위해 유연한 상호작용 모드와 사용자 정의 가능한 전략을 제공하기 위해.

제안 방법

• CrowdRev는 현재의 투표와 사전 확률을 기반으로 특정 기준이 논문에 적용될 가능성을 추정하기 위해 베이지안 추론 기반 알고리즘인 '최단 실행'(Shortest Run, SR)을 사용합니다.
• 기대 비용과 결정 신뢰도를 기반으로 다음으로 쿼리할 (논문, 기준) 조합을 동적으로 선택하며, 빠르고 정확한 결정으로 이어질 가능성이 높은 조합을 우선순위로 정합니다.
• 각 기준에 대한 커뮤니티 정확도를 추정하고 이를 바탕으로 적은 수의 투표로도 공감대에 도달할 가능성을 계산하여 비용을 최소화합니다.
• 낮은 품질의 작업자들을 걸러내기 위해 주기적인 '허니팟' 테스트와 초기 자격 검사(예: 70% 정확도 또는 SLR 배지)를 통합합니다.
• 저자들은 점진적인 단계로 걸러내기를 시작할 수 있으며, 투표 진행 상황에 따라 실시간으로 비용과 정확도 추정치가 업데이트됩니다.
• 연구자들을 위해 플랫폼은 다양한 투표 전략과 레이블 집계 방법을 실험할 수 있도록 지원하며, 이는 이전 문헌에서 제안된 방법들(예: Dawid-Skene, Whitehill)을 포함합니다.

실험 결과

연구 질문

• RQ1 커뮤니티 기반 시스템이 SLR 걸러내기에서 전문가 저자 수준의 분류 정확도를 달성하면서 비용과 시간을 줄일 수 있는가?
• RQ2 비용을 최소화하고 결정 속도를 극대화하기 위해, 어떤 (논문, 기준) 조합을 지능적으로 우선순위에 올릴 수 있는가?
• RQ3 모호하거나 분류가 어려운 논문에 직면했을 때, 어떤 메커니즘이 강건성을 확보할 수 있는가?
• RQ4 하이브리드 커뮤니티-AI 방법은 SLR 걸러내기의 효율성과 신뢰성을 얼마나 향상시킬 수 있는가?
• RQ5 모든 기준, 투표, 결정 로직을 기록함으로써 걸러내기 과정을 어떻게 투명하고 재현 가능하게 만들 수 있는가?

주요 결과

• CrowdRev는 SLR 걸러내기의 시간과 비용을 각각 몇 시간과 저자 비용의 일부로 줄이며, 높은 정확도를 유지합니다.
• 시스템은 커뮤니티 공감대를 비용 효율적으로 도달할 수 없는 경우 자동으로 사례를 포기하여 낭비되는 지출을 방지하면서도 품질을 손상시키지 않습니다.
• 최단 실행(SR) 알고리즘은 베이지안 확률 추정치를 기반으로 고영향도·저비용 (논문, 기준) 조합을 우선순위로 정렬함으로써 거의 즉각적인 분류를 가능하게 합니다.
• 플랫폼은 실시간 비용 및 정확도 추정치를 제공하여 저자들이 점진적으로 투자하고 언제든지 중단할 수 있도록 합니다.
• 모든 기준, 투표, 결정 로직을 기록함으로써 투명성을 확보하며, 이는 발표된 SLR 논문의 보조 자료로 포함될 수 있습니다.
• 시뮬레이션 기반 예산 곡선을 통해 사용자는 다양한 전략과 투자 수준에서 예상 정밀도와 재현율을 시각화할 수 있습니다.