[論文レビュー] Huddler: Convening Stable and Familiar Crowd Teams Despite Unpredictable Availability

Niloufar Salehi, Andrew McCabe+2 more|arXiv (Cornell University)|Oct 26, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 23被引用数 9

ひとこと要約

Huddler は、過去の共同作業の履歴に基づいて最適なチームメイトを選択する動的計画法を用いることで、予測不可能な作業員の可用性がある中でも安定的でなじみのあるクラウドチームを形成することを可能にする。フィールド実験では、なじみのあるチームが一時的なチームに比べて共同作業のパフォーマンスを2倍に向上させた。2週間のデプロイでは、平均18分でチームが形成され、高いなじみ度が達成された。

ABSTRACT

Distributed, parallel crowd workers can accomplish simple tasks through workflows, but teams of collaborating crowd workers are necessary for complex goals. Unfortunately, a fundamental condition for effective teams - familiarity with other members - stands in contrast to crowd work's flexible, on-demand nature. We enable effective crowd teams with Huddler, a system for workers to assemble familiar teams even under unpredictable availability and strict time constraints. Huddler utilizes a dynamic programming algorithm to optimize for highly familiar teammates when individual availability is unknown. We first present a field experiment that demonstrates the value of familiarity for crowd teams: familiar crowd teams doubled the performance of ad-hoc (unfamiliar) teams on a collaborative task. We then report a two-week field deployment wherein Huddler enabled crowd workers to convene highly familiar teams in 18 minutes on average. This research advances the goal of supporting long-term, team-based collaborations without sacrificing the flexibility of crowd work.

研究の動機と目的

• 予測不可能な作業員の可用性という状況において、安定的でなじみのあるクラウドチームを形成する課題に対処すること。
• クラウドワークの柔軟性を保ちながら、長期的なチーム協働を可能にすること。
• クラウド作業者同士のなじみが共同作業におけるチームパフォーマンスを向上させるかどうかを調査すること。
• 時間制約の下で作業者が能動的にかつ持続可能になじみのあるチームを構成・維持できるシステムを設計・評価すること。

提案手法

• Huddler は、過去の共同作業データと未知の個々の可用性に基づいて、最適なチームメイト選択を最適化する動的計画法を用いる。
• システムは、時間制約と可用性の不確実性を尊重しつつ、なじみを最大化する最適化問題としてチーム形成をモデル化する。
• 作業者がチーム参加への関心を示し、望ましい共同作業者を指定することで、システムは最適なチーム構成を計算できる。
• Huddler は、可用性となじみを推定する確率的モデルを採用し、新しいデータが到着するたびにチーム構成をリアルタイムで更新する。
• システムは非同期的なチーム形成をサポートしており、作業者がチームに参加・離脱しても、進行中の協働を妨げない。
• フィードバックループにより、チームはパフォーマンスとなじみ度を自己申告でき、これにより将来のチーム推薦が洗練される。

実験結果

リサーチクエスチョン

• RQ1 なじみのあるクラウドチームは、一時的なチームに比べて共同作業において著しく高いパフォーマンスを達成できるか？
• RQ2 予測不可能な可用性の下で、Huddler のようなシステムがどれほど迅速に高レベルのなじみを持つチームを形成できるか？
• RQ3 なじみがクラウドワークにおける調整コストをどれほど低減し、タスク効率を向上させるか？
• RQ4 動的計画法は、リアルタイムのチーム形成においてなじみと可用性を効果的にバランスさせられるか？
• RQ5 作業者は、柔軟なクラウドワーク環境において、長期的なチーム協働をどのように認識し、維持するか？

主な発見

• 制御されたフィールド実験において、なじみのあるクラウドチームは一時的なチームに比べて共同作業のパフォーマンスを2倍に向上させた。
• 2週間のフィールドデプロイでは、Huddler が作業者に平均18分で高レベルのなじみを持つチームを形成させた。
• 個々の可用性が予測不可能であっても、システムはチームの安定性となじみを維持できた。
• 作業者はなじみのあるチームメイトと協働する際、満足度が高く、作業効率が向上していると感じた。
• 動的計画法は、時間的・可用性的制約の下でもなじみを最適化するのに効果的であり、ベースラインのヒューリスティクスを上回った。
• なじみを優先した場合、チーム形成の成功率が著しく高まり、クラウド協働における社会的結束の価値が裏付けられた。