[논문 리뷰] Optimizing the Human-Machine Partnership with Zooniverse

L. Fortson, Darryl Wright외 2명|arXiv (Cornell University)|2018. 09. 25.

Virtual Reality Applications and Impacts참고 문헌 10인용 수 6

한 줄 요약

이 논문은 Zooniverse의 고급 의사결정 엔진인 Caesar를 활용해 시민 과학에서 인간-기계 협업을 최적화하는 방법을 제안한다. Caesar는 기계의 신뢰도와 인간의 능력 수준에 따라 작업을 동적으로 할당한다. 실시간 기계 학습과 스마트 작업 라우팅을 통합함으로써, 시뮬레이션에서 정확도를 유지하면서도 인간의 노력을 43% 감소시키고, 모델 수렴 속도를 최대 8배로 향상시켰다.

ABSTRACT

Over the past decade, Citizen Science has become a proven method of distributed data analysis, enabling research teams from diverse domains to solve problems involving large quantities of data with complexity levels which require human pattern recognition capabilities. With over 120 projects built reaching nearly 1.7 million volunteers, the Zooniverse.org platform has led the way in the application of Citizen Science as a method for closing the Big Data analysis gap. Since the launch in 2007 of the Galaxy Zoo project, the Zooniverse platform has enabled significant contributions across many disciplines; e.g., in ecology, humanities, and astronomy. Citizen science as an approach to Big Data combines the twin advantages of the ability to scale analysis to the size of modern datasets with the ability of humans to make serendipitous discoveries. To cope with the larger datasets looming on the horizon such as astronomy's Large Synoptic Survey Telescope (LSST) or the 100's of TB from ecology projects annually, Zooniverse has been researching a system design that is optimized for efficiency in task assignment and incorporating human and machine classifiers into the classification engine. By making efficient use of smart task assignment and the combination of human and machine classifiers, we can achieve greater accuracy and flexibility than has been possible to date. We note that creating the most efficient system must consider how best to engage and retain volunteers as well as make the most efficient use of their classifications. Our work thus focuses on understanding the factors that optimize efficiency of the combined human-machine system. This paper summarizes some of our research to date on integration of machine learning with Zooniverse, while also describing new infrastructure developed on the Zooniverse platform to carry out this research.

연구 동기 및 목표

• 과학 연구의 빅데이터 분석 격차를 해소하기 위해 인간의 패턴 인식 능력과 기계 학습을 통합하고자 한다.
• 기계의 신뢰도와 인간의 능력 수준에 기반한 지능적인 작업 할당을 통해 인간 자원봉사자의 부담을 줄이고자 한다.
• 가장 정보가 많은, 불확실하거나 영향력이 큰 주제에 인간의 분류 작업을 집중시킴으로써 모델 훈련의 효율성을 향상시키고자 한다.
• 실시간으로 적응 가능한 인간-기계 협업을 가능하게 하는 확장성 있고 유연한 인프라를 개발하고자 한다.

제안 방법

• Zooniverse Panoptes API는 프로젝트 워크플로우, 주제 제공, 분류 기록을 관리하는 핵심 플랫폼으로 기능한다.
• Caesar 의사결정 엔진은 분류에서 특징을 추출하는 추출기(extractors), 공감대를 형성하는 감소기(reducers), 주제 및 사용자 상태를 업데이트하는 효과기(effects)를 사용한다.
• 기계 학습 모델은 주제에 부착된 메타데이터를 통해 통합되며, 실시간 의사결정에 사용되는 사전 학습된 신뢰도 점수가 포함된다.
• 예측된 성능에 따라 주제가 특정 자원봉사자 그룹에 할당되며, 고능력 사용자는 복잡하거나 불확실한 케이스에 대상으로 지정된다.
• 능동 학습은 기계의 신뢰도가 낮은 주제를 인간 검토 대상으로 우선순위를 정함으로써, 대규모 프로젝트에서 모델 수렴 속도를 가속화한다.
• 비지도 군집화는 유사한 이미지를 그룹화하여 자원봉사자가 전체 군집을 분류하거나 이질성을 탐지함으로써 개인의 작업 부담을 줄여준다.

실험 결과

연구 질문

• RQ1 기계 학습 모델을 시민 과학 워크플로우에 효과적으로 통합하여 인간의 분류 작업 부담을 줄일 수 있는가?
• RQ2 기계의 신뢰도와 인간의 능력 수준에 기반한 동적 작업 할당이 분류 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 실시간으로 인간 분류자의 피드백을 받는 능동 학습이 대규모 프로젝트에서 모델 수렴 속도를 크게 향상시킬 수 있는가?
• RQ4 클래스 레이블에 대한 사전 지식 없이도 비지도 군집화를 통해 이미지 데이터를 효율적으로 레이블링할 수 있는가?
• RQ5 특정 자원봉사자 그룹에 주제를 타겟팅할 경우 인간-기계 협업 최적화에 어떤 역할을 하는가?

주요 결과

• 기계의 신뢰도 점수와 인간의 분류 결과를 통합함으로써 실제 프로젝트에서 분류 성능이 향상되었다.
• 카메라 CATalogue 프로젝트에서 첫 두 자원봉사자가 기계 예측와 일치하도록 할당함으로써 인간의 노력이 43% 감소했으며, 정확도는 유지되었다.
• 시뮬레이션 결과, 스마트 작업 할당과 함께 능동 학습을 적용하면 Galaxy Zoo 프로젝트에서 분류 속도가 8배로 증가했다.
• 시스템은 고능력 자원봉사자에게 실시간으로 주제를 라우팅하여, 복잡하거나 모호한 케이스의 분류 품질을 향상시켰다.
• 비지도 군집화를 통해 자원봉사자가 전체 이미지 그룹을 분류하거나 이질성을 탐지함으로써 개인의 작업 부담을 줄이고 레이블링 효율성을 향상시켰다.
• Caesar 의사결정 엔진은 동적 워크플로우를 성공적으로 관리하여 실시간으로 인간과 기계의 피드백에 기반한 작업 할당을 적응 가능하게 했다.