[논문 리뷰] Huddler: Convening Stable and Familiar Crowd Teams Despite Unpredictable Availability

Niloufar Salehi, Andrew McCabe외 2명|arXiv (Cornell University)|2016. 10. 26.

Mobile Crowdsensing and Crowdsourcing참고 문헌 23인용 수 9

한 줄 요약

Huddler는 이전 협업 이력 기반으로 최적의 팀원을 선별하는 동적 프로그래밍 알고리즘을 사용하여 예측 불가능한 작업자 가용성에도 불구하고 안정적이고 익숙한 군중 팀을 구성할 수 있도록 한다. 현장 실험에서 익숙한 팀은 임의의 팀보다 협업 과제에서 성능을 두 배로 높였으며, 2주간의 배포 기간 동안 평균 18분 만에 팀이 구성되었고, 높은 친밀도 수준을 유지했다.

ABSTRACT

Distributed, parallel crowd workers can accomplish simple tasks through workflows, but teams of collaborating crowd workers are necessary for complex goals. Unfortunately, a fundamental condition for effective teams - familiarity with other members - stands in contrast to crowd work's flexible, on-demand nature. We enable effective crowd teams with Huddler, a system for workers to assemble familiar teams even under unpredictable availability and strict time constraints. Huddler utilizes a dynamic programming algorithm to optimize for highly familiar teammates when individual availability is unknown. We first present a field experiment that demonstrates the value of familiarity for crowd teams: familiar crowd teams doubled the performance of ad-hoc (unfamiliar) teams on a collaborative task. We then report a two-week field deployment wherein Huddler enabled crowd workers to convene highly familiar teams in 18 minutes on average. This research advances the goal of supporting long-term, team-based collaborations without sacrificing the flexibility of crowd work.

연구 동기 및 목표

• 예측 불가능한 작업자 가용성에 대비하여 안정적이고 익숙한 군중 팀을 구성하는 데 도전하는 것.
• 군중 작업의 유연성을 유지하면서 장기적인 팀 협업을 가능하게 하는 것.
• 군중 작업자 간의 친밀도가 협업 과제에서의 팀 성능을 향상시키는지 조사하는 것.
• 시간 제약 조건 하에서 작업자들이 능동적으로 익숙한 팀을 구성하고 유지할 수 있도록 하는 시스템을 설계하고 평가하는 것.

제안 방법

• Huddler는 이전 협업 데이터와 알려지지 않은 개인의 가용성 기반으로 최적의 팀원을 선별하기 위해 동적 프로그래밍 알고리즘을 사용한다.
• 시스템은 시간 제약 조건과 가용성의 불확실성을 고려하면서도 친밀도를 최대화하는 최적화 문제로 팀 구성 문제를 모델링한다.
• 작업자들은 팀에 참여하고자 하는 의지를 표현하며 선호하는 협업자를 지정함으로써, 시스템이 최적의 팀 구성 구성을 계산할 수 있도록 한다.
• Huddler는 가용성과 친밀도를 추정하기 위해 확률 모델을 사용하며, 새로운 데이터가 도착함에 따라 실시간으로 팀 구성 내용을 업데이트한다.
• 시스템은 이면에서 팀을 구성할 수 있도록 비동기적 팀 형성을 지원하여, 작업자들이 팀에 참가하거나 이탈하더라도 협업이 중단되지 않도록 한다.
• 피드백 루프를 통해 팀은 성과와 친밀도를 자가 보고할 수 있으며, 이는 향후 팀 추천을 정교화하는 데 기여한다.

실험 결과

연구 질문

• RQ1 익숙한 군중 팀은 예측 불가능한 가용성 하에서 협업 과제에서 임의의 팀보다 유의미하게 높은 성능을 달성할 수 있는가?
• RQ2 예측 불가능한 가용성 하에서 Huddler와 같은 시스템이 얼마나 빨리 높은 친밀도의 팀을 구성할 수 있는가?
• RQ3 친밀도가 군중 작업에서 협업 비용을 얼마나 줄이고 작업 효율성을 향상시키는가?
• RQ4 동적 프로그래밍이 실시간 팀 구성에서 친밀도와 가용성을 효과적으로 균형 잡는 데 성공할 수 있는가?
• RQ5 유연한 군중 작업 환경에서 작업자들은 장기적인 팀 협업을 어떻게 인식하고 유지하는가?

주요 결과

• 통제된 현장 실험에서 익숙한 군중 팀은 협업 과제에서 임의의 팀의 성능을 두 배로 끌어올렸다.
• 2주간의 현장 배포 기간 동안 Huddler는 평균 18분 만에 높은 친밀도의 팀을 구성하는 데 성공했다.
• 개인의 가용성이 예측 불가능하더라도 시스템은 팀의 안정성과 친밀도를 유지하는 데 성공했다.
• 익숙한 동료와 협업할 때 작업자들은 더 높은 만족도와 효율성 인식을 보였다.
• 동적 프로그래밍 알고리즘이 시간 제약 조건과 가용성 제약 조건 하에서 친밀도를 효과적으로 최적화하여 기준 히وري스틱보다 뛰어난 성능을 보였다.
• 친밀도를 우선시할 경우 팀 구성 성공률이 유의미하게 높아졌으며, 이는 군중 협업에서 사회적 유대감의 가치를 확인시켰다.