[논문 리뷰] Atelier: Repurposing Expert Crowdsourcing Tasks as Micro-internships

Ryo Suzuki, Niloufar Salehi외 3명|arXiv (Cornell University)|2016. 02. 22.

Mobile Crowdsensing and Crowdsourcing참고 문헌 32인용 수 25

한 줄 요약

Atelier는 기존 전문가 중심의 커스터마이징 작업을 보상받고 멘토링을 받는 마이크로 인턴십으로 재활용하여, 커스터머 작업자들이 기술 습득의 장벽을 낮춥니다. 인턴과 경험이 풍부한 멘토가 작업 마일스톤를 함께 진행하면서 실무를 통해 기술 숙련도를 향상시킬 수 있도록 하며, 평가 결과 멘토링을 통해 진도 향상과 품질 향상이 뚜렷하게 향상됨을 확인했습니다.

ABSTRACT

Expert crowdsourcing marketplaces have untapped potential to empower workers' career and skill development. Currently, many workers cannot afford to invest the time and sacrifice the earnings required to learn a new skill, and a lack of experience makes it difficult to get job offers even if they do. In this paper, we seek to lower the threshold to skill development by repurposing existing tasks on the marketplace as mentored, paid, real-world work experiences, which we refer to as micro-internships. We instantiate this idea in Atelier, a micro-internship platform that connects crowd interns with crowd mentors. Atelier guides mentor-intern pairs to break down expert crowdsourcing tasks into milestones, review intermediate output, and problem-solve together. We conducted a field experiment comparing Atelier's mentorship model to a non-mentored alternative on a real-world programming crowdsourcing task, finding that Atelier helped interns maintain forward progress and absorb best practices.

연구 동기 및 목표

• 온라인 커스터머 작업 환경에서 일자리가 부족하고 학습에 대한 동기가 부족한 작업자들이 새로운 기술을 습득하는 데 어려움을 겪는 문제를 해결하기 위해.
• 기존 마켓플레이스 작업을 체계적인 보상형 마이크로 인턴십으로 전환함으로써 새로운 기술 습득의 진입 장벽을 낮추기 위해.
• 마이크로 인턴십에서의 멘토링이 학습 결과, 작업 완료율, 작업 품질 향상에 기여하는지 탐구하기 위해.
• 멘토는 교육 경험을 쌓고, 인턴은 포트폴리오 항목과 평가 점수를 확보할 수 있는 지속 가능한 모델을 구축하기 위해.
• 실제 도입 환경에서 멘토링이 학습자 진도, 기술 흡수, 작업 품질에 미치는 영향을 평가하기 위해.

제안 방법

• Atelier는 Upwork와 같은 전문가 중심의 커스터마이징 플랫폼과 통합되어 요청자가 작업을 게시하고, 관련 전문 역량을 갖춘 멘토를 선정할 수 있도록 합니다.
• 멘토는 복잡한 작업을 중간 단계의 마일스톤로 분해하고, 구조화된 워크플로우를 통해 각 단계를 인턴이 따라가도록 지도합니다.
• 플랫폼은 멘토와 인턴 간 실시간 동기식 채팅을 지원하여 피드백 제공, 문제 해결, 지식 공유를 가능하게 합니다.
• 인턴은 각 마일스톤에서 작업을 제출하고, 멘토가 검토하여 최종 제품을 요청자에게 전달하여 보상 지급 및 Upwork 평가를 완료합니다.
• 시스템은 과정 내내 산업 최고의 실천 방식, 관행, 새로운 기술을 공유할 수 있도록 지원합니다.
• 현장 실험을 통해 Atelier의 멘토링 모델을 실제 프로그래밍 작업을 활용한 비멘토링 대조 조건과 비교했습니다.

실험 결과

연구 질문

• RQ1 기존의 전문가 중심 커스터마이징 작업을 마이크로 인턴십으로 효과적으로 재활용하여 기술 습득을 지원할 수 있는가?
• RQ2 멘토링이 포함된 마이크로 인턴십은 비멘토링 경험에 비해 학습자 진도 향상과 작업 완료율 향상에 기여하는가?
• RQ3 멘토가 최고의 실천 방식과 산업 관행을 공유함으로써 기술 습득에 얼마나 기여하는가?
• RQ4 멘토링 모델에서 생산된 작업 품질은 비멘토링 작업과 비교해 어떻게 다른가?
• RQ5 마이크로 인턴십 쌍의 참여 유도와 책임감을 유지를 위해 발생하는 과제는 무엇인가?

주요 결과

• 기술적 또는 개념적 장애에 부딪힐 경우, Atelier의 멘토링 조건에 속한 인턴들이 비멘토링 조건에 비해 보다 일관되게 진도를 유지함을 확인함.
• 멘토들이 최고의 실천 방식, 새로운 기술, 산업 관행을 성공적으로 도입하여 더 높은 수준의 작업 결과를 이끌어냄.
• 멘토 피드백 사용 빈도가 높을수록 작업 품질이 향상됨을 확인하여, 활동적인 멘토링이 학습과 성과 향상에 기여함.
• 플랫폼은 웹 개발 외에도 로고 디자인, 데이터 마이닝 등 다양한 분야의 마이크로 인턴십을 성공적으로 수행할 수 있었으며, 이는 다분야 적용 가능성을 보여줌.
• 멘토는 적시 피드백 제공, 요구사항 명확화, 장애물 극복 지원을 통해 학습의 기반을 마련하는 데 핵심적인 역할을 함.
• 참여자 이탈 등의 과제가 있었음에도 불구하고, 멘토링 모델은 커스터머 작업 환경에서의 기술 숙련도 향상과 경력 개발 잠재력을 뚜렷이 보여줌.