[논문 리뷰] CDAS: A Crowdsourcing Data Analytics System

Xuan Liu, Meiyu Lu외 4명|arXiv (Cornell University)|2012. 06. 30.

Mobile Crowdsensing and Crowdsourcing참고 문헌 17인용 수 40

한 줄 요약

CDAS는 인간이 참여하는 데이터 분석 환경에서 정확도와 비용을 최적화하기 위해 품질 민감도가 있는 답변 모델을 통합한 컨소시엄 기반 데이터 분석 시스템이다. 이 시스템은 이력 성능 기반으로 필요한 워커 수를 예측하고, 온라인 투표를 통해 결과를 검증하는 이단계적 접근 방식을 사용하여 순수 알고리즘 기반 방법에 비해 비용을 절감하면서도 높은 정확도(예: 95% 이상)를 달성한다.

ABSTRACT

Some complex problems, such as image tagging and natural language processing, are very challenging for computers, where even state-of-the-art technology is yet able to provide satisfactory accuracy. Therefore, rather than relying solely on developing new and better algorithms to handle such tasks, we look to the crowdsourcing solution -- employing human participation -- to make good the shortfall in current technology. Crowdsourcing is a good supplement to many computer tasks. A complex job may be divided into computer-oriented tasks and human-oriented tasks, which are then assigned to machines and humans respectively. To leverage the power of crowdsourcing, we design and implement a Crowdsourcing Data Analytics System, CDAS. CDAS is a framework designed to support the deployment of various crowdsourcing applications. The core part of CDAS is a quality-sensitive answering model, which guides the crowdsourcing engine to process and monitor the human tasks. In this paper, we introduce the principles of our quality-sensitive model. To satisfy user required accuracy, the model guides the crowdsourcing query engine for the design and processing of the corresponding crowdsourcing jobs. It provides an estimated accuracy for each generated result based on the human workers' historical performances. When verifying the quality of the result, the model employs an online strategy to reduce waiting time. To show the effectiveness of the model, we implement and deploy two analytics jobs on CDAS, a twitter sentiment analytics job and an image tagging job. We use real Twitter and Flickr data as our queries respectively. We compare our approaches with state-of-the-art classification and image annotation techniques. The results show that the human-assisted methods can indeed achieve a much higher accuracy. By embedding the quality-sensitive model into crowdsourcing query engine, we effectiv...[truncated].

연구 동기 및 목표

• 인간의 오류와 변동성에도 불구하고 컨소시엄 기반 데이터 분석에서 높은 정확도를 확보하는 데 도전하는 것.
• 사용자 지정 정확도 목표를 달성하기 위해 필요한 워커 수를 지능적으로 추정하여 컨소시엄의 처리 비용을 줄이는 것.
• 이력 워커 성능과 실시간 결과 검증을 기반으로 비용과 품질을 동적으로 균형 잡는 쿼리 엔진을 설계하는 것.
• 실제 데이터를 기반으로 한 감성 분석 및 이미지 태깅과 같은 복잡한 작업에 대해 컨소시엄의 실용적 구현을 가능하게 하는 것.

제안 방법

• 예측 모델과 검증 모델로 구성된 두 가지 하위 모델을 갖춘 품질 민감도 답변 모델을 제안한다.
• 사용자가 지정한 정확도 기준을 충족시키기 위해 필요한 워커 수를 추정하기 위해 이력 워커 성능 데이터를 활용한다.
• 작업 실행 이전에 결과 정확도를 예측하기 위해 확률 기반 모델을 적용한다.
• 결과 집계 중 기다림 시간을 줄이기 위해 점진적으로 결과를 정밀화하는 온라인 검증 전략을 적용한다.
• 컴퓨터 작업과 인간 작업으로 작업을 분할하는 컨소시엄 쿼리 엔진에 모델을 통합한다.
• 워커 할당 및 결과 수거를 위한 기반 플랫폼으로 아마존 메카니컬 터크를 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 컨소시엄 시스템이 최소한의 비용으로 목표 정확도를 달성하기 위해 필요한 워커 수를 동적으로 추정할 수 있는가?
• RQ2 신뢰할 수 없거나 악성인 인간 워커가 존재하는 상황에서도 결과 품질을 보장할 수 있는 메커니즘은 무엇인가?
• RQ3 온라인 처리 기법은 결과 정확도를 유지하면서도 응답 시간을 어떻게 줄일 수 있는가?
• RQ4 이미지 태깅 및 감성 분석과 같은 복잡한 작업에서 인간 보조 방법이 최신 알고리즘 기반 접근 방식을 얼마나 뛰어넘을 수 있는가?

주요 결과

• 품질 민감도 모델은 그림 18에서 보듯이 모든 테스트 케이스에서 사용자가 지정한 정확도 요구 조건을 일관되게 충족시키며, 실제 정확도가 요구 기준을 충족하거나 초과한다.
• 시스템은 과잉 할당을 방지하면서도 높은 정확도를 유지하기 위해 필요한 최소 워커 수를 지능적으로 추정함으로써 처리 비용을 절감한다.
• 이미지 태깅 작업에서는 인간 보조 방법이 최신 알고리즘 기반 방법인 ALIPR를 능가하여 더 높은 정확도를 달성하면서도 더 낮은 비용으로 운영된다.
• 트위터 감성 분석에서는 소수의 워커로도 95% 이상의 높은 정확도를 달성하여 실제 데이터에서의 효과성을 입증한다.
• 온라인 검증 전략은 결과를 점진적으로 업데이트함으로써 기다림 시간을 크게 줄여 사용자 경험을 향상시킨다.
• 시스템은 실시간 플리커 및 트위터 데이터를 기반으로 한 두 가지 실제 데이터 분석 작업—트위터 감성 분석 및 이미지 태깅—을 성공적으로 구현하여 실용성을 입증했다.