[논문 리뷰] Analytic Methods for Optimizing Realtime Crowdsourcing

Michael S. Bernstein, David R. Karger외 2명|arXiv (Cornell University)|2012. 04. 13.

Mobile Crowdsensing and Crowdsourcing참고 문헌 6인용 수 65

한 줄 요약

이 논문은 실시간 커스터마이징을 최적화하기 위해 대기열 이론을 사용하는 분석 프레임워크를 제안한다. 요청자 비용을 최소화하면서 성능 목표를 충족시키는 것을 목표로 하며, 리테이너 구독, 공유 리테이너 풀, 프리리크루트라는 세 가지 핵심 개선 사항을 도입하여 반응 시간을 500밀리초로 감소시켜 사용자 흐름의 1초 이내 인지 임계값을 돌파한다.

ABSTRACT

Realtime crowdsourcing research has demonstrated that it is possible to recruit paid crowds within seconds by managing a small, fast-reacting worker pool. Realtime crowds enable crowd-powered systems that respond at interactive speeds: for example, cameras, robots and instant opinion polls. So far, these techniques have mainly been proof-of-concept prototypes: research has not yet attempted to understand how they might work at large scale or optimize their cost/performance trade-offs. In this paper, we use queueing theory to analyze the retainer model for realtime crowdsourcing, in particular its expected wait time and cost to requesters. We provide an algorithm that allows requesters to minimize their cost subject to performance requirements. We then propose and analyze three techniques to improve performance: push notifications, shared retainer pools, and precruitment, which involves recalling retainer workers before a task actually arrives. An experimental validation finds that precruited workers begin a task 500 milliseconds after it is posted, delivering results below the one-second cognitive threshold for an end-user to stay in flow.

연구 동기 및 목표

• 실시간 커스터마이징 시스템에서 확장 가능한 비용/성능 최적화의 부족을 해결하기 위해.
• 요청자의 최대 기대 대기 시간 또는 요청을 놓칠 확률을 충족시키는 조건 하에, 리테이너 기반 채용 시스템을 대기열 이론으로 모델링하여 대기 시간과 비용을 정확히 예측하기 위해.
• 요청자의 성능 제약(예: 최대 기대 대기 시간)을 충족시키는 조건 하에 요청자 비용을 최소화하는 알고리즘을 개발하기 위해.
• 리테이너 모델을 평가하고 개선하기 위해 세 가지 신규 기법(리테이너 구독, 공유 리테이너 풀, 프리리크루트)을 개발하기 위해.
• 실증적으로 프리리크루트가 1초 이하의 반응 시간을 가능하게 하여 사용자 참여를 위한 인지 임계값을 충족시킴을 입증하기 위해.

제안 방법

• 작업 도착률과 워커 풀 크기를 기반으로 기대 대기 시간과 비용을 분석하기 위해 리테이너 시스템을 M/M/c 대기열로 모델링한다.
• 요청자의 최대 기대 대기 시간 또는 요청을 놓칠 확률을 충족시키는 데 필요한 최소 리테이너 풀 크기를 계산하는 최적화 알고리즘을 유도한다.
• 워커가 푸시 알림을 수신하도록 옵트인할 수 있도록 허용하는 리테이너 구독을 도입하여 채용 지연을 줄인다.
• 요청자 간에 리테이너 풀을 공유하여 활용도를 높이고 개별 비용 및 대기 시간을 감소시킨다.
• 작업 도착 몇 밀리초 전에 리테이너에서 워커를 다시 불러오는 프리리크루트 전략을 개발하여 반응 시간을 극적으로 단축시킨다.
• 실제 워커가 대기 기간 동안 이탈하는 것을 반영하기 위해 대기열 모델에 기각 행동을 통합한다.

실험 결과

연구 질문

• RQ1 요청자의 성능 요구사항(예: 최대 기대 대기 시간)을 충족시키면서 비용을 최소화하는 최적의 리테이너 풀 크기는 무엇인가?
• RQ2 리테이너 구독, 공유 풀, 프리리크루트 기법이 반응 시간과 비용 측면에서 리테이너 모델의 성능을 어떻게 향상시키는가?
• RQ3 프리리크루트가 사용자 흐름을 위한 1초 이내 인지 임계값 이하의 반응 시간을 줄일 수 있는가?
• RQ4 워커 재활성화 지연이 시스템 성능에 미치는 영향은 무엇이며, 대기열 프레임워크 내에서 효과적으로 모델링할 수 있는가?
• RQ5 대기열 모델을 신뢰도 및 반응성 기반의 워커 평판 시스템과 통합할 경우 어떤 영향을 미치는가?

주요 결과

• 프리리크루트로 인해 중앙값 반응 시간이 500밀리초로 감소하여 사용자 흐름을 위한 1초 이내 인지 임계값을 크게 밑도게 되었다.
• 프리리크루트 없이 표준 리테이너 모델을 사용할 경우 중앙값 반응 시간은 1.36초였으며, 이는 프리리크루트로 45% 향상된 것이다.
• 프리리크루트를 적용한 리테이너 모델은 중앙값 반응 시간 0.5초를 달성하여 실질적으로 1초 이내 성능을 달성할 수 있음을 보여주었다.
• 실증적 평가 결과, 대기 시간과 마우스 이동 지연 간 상관관계가 극히 낮음(R² = 0.001)을 보여, 대기 기간이 길어도 워커의 반응 속도는 일관되게 유지됨을 시사한다.
• 공유 리테이너 풀과 리테이너 구독은 채용 효율성과 워커 가용성을 향상시켜 기대 대기 시간과 비용을 모두 감소시킨다.
• 대기열 모델은 성능 트레이드오프를 정확히 예측할 수 있어 요청자가 비용과 성능 제약 조건에 따라 최적의 풀 크기를 선택할 수 있도록 한다.