[論文レビュー] Measuring Motivations of Crowdworkers: The Multidimensional Crowdworker Motivation Scale

Lisa Posch, Arnim Bleier+4 more|MADOC (University of Mannheim)|Feb 6, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 67被引用数 13

ひとこと要約

本論文は、10か国および3つの収入層をカバーする10か国で検証された、6次元の自己決定理論に基づく、マルチディメンショナル・クラウドワーカー動機尺度（MCMS）を紹介する。この尺度は、信頼性、妥当性、測定不変性に優れており、マイクロタスクプラットフォームにおけるクラウドワーカーの動機の国際的比較を可能にする。

ABSTRACT

Crowd employment is a new form of short-term and flexible employment which has emerged during the past decade. In order to understand this new form of employment, it is crucial to illuminate the underlying motivations of the workforce involved in it. This paper introduces the Multidimensional Crowdworker Motivation Scale (MCMS), a scale for measuring the motivation of crowdworkers on micro-task platforms. The MCMS is theoretically grounded in self-determination theory and tailored specifically to the context of paid crowdsourced micro-labor. The scale measures the motivation of crowdworkers along six motivational dimensions, ranging from amotivation to intrinsic motivation. We validated the MCMS on data collected in ten countries and three income groups. Factor analyses demonstrated that the MCMS's six dimensions showed good model fit, validity, and reliability. Furthermore, our measurement invariance tests showed that motivations measured with the MCMS are comparable across countries and income groups, and we present a first cross-country comparison of crowdworker motivations. This work constitutes an important first step towards understanding the motivations of the international crowd workforce.

研究の動機と目的

• マイクロタスクプラットフォームにおけるクラウドワーカーの動機を測定する理論的根拠に基づいた多面的尺度を開発すること。
• 10か国および3つの収入層を含む多様な国際的文脈において、MCMSの妥当性を検証すること。
• 国および収入水準ごとの測定不変性を評価し、文化的に比較可能な尺度を確立すること。
• 研究者および実務家がクラウドワーキングにおける動機を研究するための信頼性と妥当性に優れたツールを提供すること。
• 内発的動機、外発的動機、無動機の動機が、柔軟でオンラインの労働にどのように影響を与えるかを理解を深めること。

提案手法

• 従来の労働環境を想定した自己決定理論（SDT）の動機尺度の項目を、マイクロタスクプラットフォーム環境に適合させるために改変した。
• 内発的動機、認識された規範、内射的規範、外部的規範、統合的規範、無動機の6要因を測定する尺度を開発した。
• 大規模な国際的データセットを用いて、MCMSのモデル適合度と信頼性を検証するための確認的要因分析（CFA）を実施した。
• 国および収入グループ間での比較可能性を確保するため、測定不変性テスト（構造的不変性、計測的不変性、スカラ不変性）を実施した。
• CrowdFlowerプラットフォームを介して、10か国から1,800人以上のクラウドワーカーのデータを用いて尺度を検証した。
• Cronbach’s alphaとCFAを含む心理測定技術を用いて、内部的一致性と構造的妥当性を評価した。

Figure 4. Task instructions. This figure shows the task instructions that were shown to crowdworkers at the beginning of the task.

実験結果

リサーチクエスチョン

• RQ1 MCMSは、多様な文化的・経済的文脈において、クラウドワーカーの動機を信頼性と妥当性をもって測定できるか。
• RQ2 MCMSの6つの動機的次元は、国および収入グループ間で不変であるか。これにより、国際的比較が可能になるか。
• RQ3 マイクロタスクプラットフォームにおける、国および収入水準ごとのクラウドワーカーの動機的プロファイルは、どのように異なるか。
• RQ4 MCMSは、報酬付きマイクロリソース労働の文脈において、内発的動機、外発的動機、無動機を効果的に区別できるか。
• RQ5 MCMSで測定された自己報告のクラウドワーカー動機における、社会的望ましさバイアスの程度はどの程度か。

主な発見

• MCMSは優れたモデル適合度を示し、確認的要因分析により、すべてのサンプルで6要因構造が確認された。
• 6要因すべてのCronbach’s alpha値が0.70を超えており、良好な内部的一致性と信頼性を示した。
• 測定不変性テストにより、構造的不変性、計測的不変性、スカラ不変性が国および収入グループ間で確認され、グループ間比較が可能であることが裏付けられた。
• 特に内発的動機および無動機のレベルにおいて、国際的な差が顕著に観察された。
• 尺度は社会的望ましさバイアスと弱い相関を示しており、自己報告の動機に応答バイアスによる歪みが限定的であることが示唆された。
• 統合的規範要因が存在しないことは、統合的規範が認識された規範および内発的動機と統計的に区別できないことによるものであり、他のSDT尺度における類似の制限と整合的である。

Figure 5. Interface for open-ended answers. This figure shows the interface that crowdworkers were given to state five reasons for why they do tasks on CrowdFlower in their own words.