[논문 리뷰] Leveraging Crowd for Game-based Learning: A Case Study of Privacy Education Game Design and Evaluation by Crowdsourcing

Wendy Wang, Yu Tao외 3명|arXiv (Cornell University)|2016. 03. 09.

Mobile Crowdsensing and Crowdsourcing참고 문헌 25인용 수 3

한 줄 요약

이 논문은 아마존 메카니컬 터크의 비전문가 근로자들을 활용하여 게임 기반 개인정보 보호 교육 시스템을 설계하고 평가하는 캐주얼 소싱 접근법을 제안한다. 게임 설계 아이디어를 수집하고 최종 게임을 캐주얼 및 개인정보 전문가들로 평가함으로써, 본 연구는 비전문가가 높은 품질의 창의적이고 교육적으로 효과적인 게임 개념을 생성할 수 있음을 입증한다. 캐주얼 평가 결과는 전문가 평가와 강한 일치(85% 일치도)를 보였으며, 전문가 평가보다도 더 높은 참여도를 보였다.

ABSTRACT

As the Internet grows in importance, it is vital to develop methods and techniques for educating end-users to improve their awareness of online privacy. Web-based education tools have been proven effective in many domains and have been increasingly adopted by many online professional and educational services. However, the design and development of Web-based education tools for online privacy is still in the early stage. The traditional solutions always involve privacy experts who have sophisticated expertise. Such involvement can make the tool development costly. Furthermore, it is not clear how inspiring and effective these education tools are to general users of varying backgrounds, specially to novice users who have rarely dealt with online privacy issues before. In this paper, we design, develop, and evaluate a game-based privacy learning system by leveraging the wisdom of a crowd of non-experts on Amazon Mechanic Turk. Empirical study demonstrates that the crowd can provide high-quality ideas of designing and developing a practical, educational privacy learning game.

연구 동기 및 목표

• 비전문가 캐주얼이 효과적인 게임 기반 개인정보 보호 교육 도구를 설계하기 위한 높은 품질의 아이디어를 기여할 수 있는지 탐색하기 위해.
• 사용성과 교육적 영향을 평가함으로써, 캐주얼과 개인정보 전문가를 활용하여 개인정보 보호 교육 게임의 효과성을 평가하기 위해.
• 교육 게임 개발에서 창의적 설계와 성능 평가에 캐주얼 소싱을 사용하는 것이 가능한지 조사하기 위해.
• 캐주얼이 생성한 게임 설계 아이디어의 정확성과 신선도를 평가하기 위한 메트릭을 개발하기 위해.
• 품질, 참여도, 교육적 가치 측면에서 캐주얼 피드백과 전문가 피드백을 비교하기 위해.

제안 방법

• 비전문가로 구성된 캐주얼을 대상으로 아마존 메카니컬 터크를 활용하여 구조화된 마이크로태스크를 통해 게임 설계 아이디어를 수집하였다.
• 캐주얼에서 수집한 아이디어를 통합하고 융합하여 개인정보 보호 교육 게임을 위한 일관된 게임 설계 프로토타입을 제작하였다.
• 세 단계 시스템(아이디어 수집 → 게임 개발 → 게임 평가)을 개발하였다.
• 정확성, 창의성, 실현 가능성 등 다중 척도 평가 메트릭을 적용하여 캐주얼이 생성한 아이디어의 품질을 평가하였다.
• 리크릿 척도 및 정성적 피드백을 활용하여 캐주얼과 개인정보 전문가 그룹이 게임 평가를 수행하였다.
• 예측 투표와 리크릿 척도 평가를 활용하여 다양한 평가 전략의 효과성을 비교하였다.

실험 결과

연구 질문

• RQ1 비전문가 캐주얼이 개인정보 보호 교육 게임을 위한 높은 품질의 창의적이고 교육적으로 효과적인 아이디어를 생성할 수 있는가?
• RQ2 게임의 교육적 영향을 평가할 때 캐주얼 피드백의 품질과 참여도는 개인정보 전문가 피드백과 비교해 어떻게 다른가?
• RQ3 캐주얼로 수집한 아이디어를 얼마나 잘 통합하여 기능적이고 사용 가능한 게임 프로토타입으로 전환할 수 있는가?
• RQ4 캐주얼이 생성한 교육 게임 개념의 정확성과 창의성을 가장 잘 반영하는 메트릭은 무엇인가?
• RQ5 캐주얼은 게임의 사용성과 교육적 가치를 효과적으로 평가할 수 있는가, 특히 전문가 평가와 비교했을 때 어떻게 되는가?

주요 결과

• 캐주얼이 제안한 게임 설계 아이디어는 전문가 평가와 전체 품질 측면에서 85% 일치도를 보이며, 강력한 공감대와 신뢰성을 나타낸다.
• 캐주얼 평가 결과는 전문가 평가 대비 15% 높은 참여도를 보이며, 일반 사용자에게 더 큰 동기 부여 효과가 있음을 시사한다.
• 전문가들은 캐릭터 루카스를 가장 교육적으로 높이 평가했지만, 캐주얼은 에이든을 가장 영감을 주는 캐릭터로 평가하여 교육적 효과에 대한 인식이 다름을 보여준다.
• 본 연구는 캐주얼이 생성한 아이디어가 매우 창의적이고 실용적이며, 뛰어난 창의적 기능 요소들이 통합되어 있음을 발견하였다.
• 평가 과정을 통해 캐주얼 피드백이 특히 매력적이고 직관적인 게임 요소를 효과적으로 식별하는 데 뛰어난 능력을 보였으며, 전문가가 이를 사소한 것으로 간주하는 경우에도 마찬가지였다.
• 결과적으로 캐주얼 소싱은 다양하고 비전문가를 대상으로 하는 교육 게임 개발에서 설계 및 평가에 비용 효율적이고 혁신적인 방법임을 확인한다.