[論文レビュー] Atelier: Repurposing Expert Crowdsourcing Tasks as Micro-internships

Ryo Suzuki, Niloufar Salehi+3 more|arXiv (Cornell University)|Feb 22, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 32被引用数 25

ひとこと要約

Atelierは、既存の専門家向けクラウドソーシングタスクを、報酬付きでメンターによる指導を受けるマイクロインTERNシップに再利用することで、クラウドワーカーのスキル習得の障壁を低減する。メンターがタスクのマイルストーンを段階的に指導することで、実務経験を通じたスキル習得を可能にし、評価結果ではメンターシップによる進捗向上と品質向上が確認された。

ABSTRACT

Expert crowdsourcing marketplaces have untapped potential to empower workers' career and skill development. Currently, many workers cannot afford to invest the time and sacrifice the earnings required to learn a new skill, and a lack of experience makes it difficult to get job offers even if they do. In this paper, we seek to lower the threshold to skill development by repurposing existing tasks on the marketplace as mentored, paid, real-world work experiences, which we refer to as micro-internships. We instantiate this idea in Atelier, a micro-internship platform that connects crowd interns with crowd mentors. Atelier guides mentor-intern pairs to break down expert crowdsourcing tasks into milestones, review intermediate output, and problem-solve together. We conducted a field experiment comparing Atelier's mentorship model to a non-mentored alternative on a real-world programming crowdsourcing task, finding that Atelier helped interns maintain forward progress and absorb best practices.

研究の動機と目的

• オンラインのクラウドワーキングにおいて、作業者が新しいスキルを習得する時間的・インcentive的要因に欠けるという課題に対処すること。
• 既存のマーケットプレイスタスクを構造的で報酬付きのマイクロインTERNシップに変換することで、新しいスキル習得の入り口を容易にすること。
• マイクロインTERNシップにおけるメンターシップが、学習成果、タスク完了、作業品質に与える影響を検証すること。
• メンターが教育経験を積み、インTERNシップ参加者がポートフォリオや評価を得られる持続可能なモデルを構築すること。
• 実世界での展開において、メンターシップが学習者の進捗、スキル吸収、作業品質に与える影響を評価すること。

提案手法

• AtelierはUpworkのような専門家向けクラウドソーシングプラットフォームと統合され、リクエスタがタスクを投稿し、関連分野の専門知識を持つメンターを選出できる。
• メンターは複雑なタスクを中間的なマイルストーンに分解し、構造化されたワークフローに従ってインTERNシップ参加者を段階的に指導する。
• プラットフォームは、メンターとインTERNシップ参加者の間でリアルタイムの同期チャットをサポートし、フィードバック、問題解決、知識共有を可能にする。
• インTERNシップ参加者は各マイルストーンで作業を提出し、メンターがレビューして最終的な成果物をリクエスタに承認・送信し、報酬支払いとUpworkの評価を促進する。
• システムは、メンターがプロセス中に業界のベストプラクティス、規範、新技術を共有することを可能にする。
• フィールド実験では、実世界のプログラミングタスクを用いて、Atelierのメンターシップモデルと非メンターシップの対照条件を比較した。

実験結果

リサーチクエスチョン

• RQ1 既存の専門家向けクラウドソーシングタスクは、スキル習得を支援するマイクロインTERNシップとして効果的に再利用可能か？
• RQ2 マイクロインTERNシップにおけるメンターシップは、非メンターシップ経験に比べて学習者の進捗とタスク完了に良い影響を与えるか？
• RQ3 メンターがベストプラクティスや業界の規範を共有することで、どの程度スキル習得が促進されるか？
• RQ4 メンターシップモデルで生み出された作業の品質は、非メンターシップの作業と比べてどの程度高いか？
• RQ5 マイクロインTERNシップのペアリングにおいて、参加者の関与維持と責任感を保つために生じる課題は何か？

主な発見

• 技術的または概念的な障壁に直面した際でも、Atelierのメンターシップ条件下のインTERNシップ参加者は、非メンターシップ条件に比べて一貫した前進を維持した。
• メンターは、ベストプラクティス、新技術、業界の規範を効果的に導入し、それがより高い品質の作業成果に貢献した。
• メンターからのフィードバックの使用頻度が高いほど作業品質が向上したため、能動的なメンターシップが学習とパフォーマンス向上に寄与することが示された。
• プラットフォームは、ウェブ開発にとどまらず、ロゴデザインやデータマイニングなど多様な分野のマイクロインTERNシップを成功裏に完了させ、多分野への適用可能性を示した。
• メンターは、的確なフィードバック、要件の明確化、障害の克服支援を通じて、学習のスケーリングを果たす重要な役割を果たした。
• 参加者の離脱などの課題はあったが、メンターシップモデルはクラウドワーキングにおけるスキル習得とキャリア発展の強力な可能性を示した。