[논문 리뷰] Measuring Motivations of Crowdworkers: The Multidimensional Crowdworker Motivation Scale

Lisa Posch, Arnim Bleier외 4명|MADOC (University of Mannheim)|2017. 02. 06.

Mobile Crowdsensing and Crowdsourcing참고 문헌 67인용 수 13

한 줄 요약

이 논문은 다국적이고 다소득군을 포함한 10개국에서 검증된 6차원의 자율성 이론 기반 도구인 다차원 군중근로자 동기 척도(MCMS)를 소개한다. 이 척도는 높은 신뢰성, 타당성 및 측정 불변성을 보이며, 마이크로태스크 플랫폼에서의 군중근로자 동기의 다국적 비교를 가능하게 한다.

ABSTRACT

Crowd employment is a new form of short-term and flexible employment which has emerged during the past decade. In order to understand this new form of employment, it is crucial to illuminate the underlying motivations of the workforce involved in it. This paper introduces the Multidimensional Crowdworker Motivation Scale (MCMS), a scale for measuring the motivation of crowdworkers on micro-task platforms. The MCMS is theoretically grounded in self-determination theory and tailored specifically to the context of paid crowdsourced micro-labor. The scale measures the motivation of crowdworkers along six motivational dimensions, ranging from amotivation to intrinsic motivation. We validated the MCMS on data collected in ten countries and three income groups. Factor analyses demonstrated that the MCMS's six dimensions showed good model fit, validity, and reliability. Furthermore, our measurement invariance tests showed that motivations measured with the MCMS are comparable across countries and income groups, and we present a first cross-country comparison of crowdworker motivations. This work constitutes an important first step towards understanding the motivations of the international crowd workforce.

연구 동기 및 목표

• 마이크로태스크 플랫폼에서 군중근로자의 동기를 이론적으로 기반한 다차원 척도를 개발하기 위해.
• MCMS를 10개국과 3개의 소득군을 포함한 다양한 국제적 맥락에서 검증하기 위해.
• 국가 및 소득 수준 간의 측정 불변성을 평가하여 다문화 비교의 가능성을 확보하기 위해.
• 연구자와 실무자들이 군중근로의 동기를 연구하는 데 신뢰성 있고 타당한 도구를 제공하기 위해.
• 내재적 동기, 외재적 동기 및 무동기의 형태가 영리하고 온라인 노동에의 참여에 어떻게 영향을 미치는지 이해를 심화하기 위해.

제안 방법

• 기존의 전통적 일자리 맥락에서의 자율성 이론(SDT) 기반 동기 척도에서 유도된 항목들을 마이크로태스크 플랫폼 환경에 맞게 수정하였다.
• 내재적 동기, 인식된 규범, 통합된 규범, 외재적 규범, 통합된 규범, 무동기의 6요인 척도를 개발하였다.
• 대규모 다국적 데이터셋을 바탕으로 MCMS의 모델 적합도와 신뢰성을 검증하기 위해 확인적 요인 분석(CFA)을 실시하였다.
• 국가 및 소득군 간의 동기 차원 간 비교 가능성을 확보하기 위해 측정 불변성 검정(형태적 불변성, 척도 불변성, 상수 불변성)을 수행하였다.
• CrowdFlower 플랫폼을 통해 10개국의 1,800명 이상의 군중근로자 데이터를 활용하여 척도를 검증하였다.
• 내적 일관성과 구성 타당성을 평가하기 위해 Cronbach’s alpha와 CFA를 포함한 심리측정 기법을 적용하였다.

Figure 4. Task instructions. This figure shows the task instructions that were shown to crowdworkers at the beginning of the task.

실험 결과

연구 질문

• RQ1 MCMS는 다양한 문화적 및 경제적 맥락에서 군중근로자 동기의 신뢰성 있고 타당한 측정을 얼마나 잘 수행하는가?
• RQ2 MCMS의 6개 동기 차원은 국가 및 소득군 간에 불변성이 있는가? 이는 다국적 비교의 가능성을 보장하는가?
• RQ3 마이크로태스크 플랫폼에서 국가 및 소득 수준에 따라 군중근로자의 동기 프로파일은 어떻게 다를까?
• RQ4 MCMS는 급여 지급 마이크로노동 환경에서 내재적, 외재적, 무동기 동기를 효과적으로 구분할 수 있는가?
• RQ5 자기 보고된 군중근로자 동기 측정에서 사회적 수용성 편향의 정도는 어느 정도인가?

주요 결과

• MCMS는 확인적 요인 분석을 통해 모든 샘플에서 6요인 구조의 뛰어난 모델 적합도를 보였다.
• 모든 6개 차원의 Cronbach’s alpha 값이 0.70을 초과하여 양호한 내적 일관성과 신뢰성을 나타내었다.
• 측정 불변성 검정을 통해 국가 및 소득군 간 형태적 불변성, 척도 불변성, 상수 불변성이 확인되어, 다중 집단 간 비교의 타당성을 뒷받침하였다.
• 특히 내재적 동기 및 무동기 수준에서 다국적 차이가 뚜렷하게 관찰되었다.
• 척도는 사회적 수용성 편향과 약한 상관관계를 보였으며, 자기 보고된 동기의 응답 편향으로 인한 왜곡이 제한적임을 시사하였다.
• 통합된 규범 요인이 존재하지 않은 것은 통합된 규범이 인식된 규범 및 내재적 동기와 통계적으로 구별되지 않기 때문이며, 이는 다른 SDT 척도의 한계와 일치한다.

Figure 5. Interface for open-ended answers. This figure shows the interface that crowdworkers were given to state five reasons for why they do tasks on CrowdFlower in their own words.