[论文解读] Leveraging Crowd for Game-based Learning: A Case Study of Privacy Education Game Design and Evaluation by Crowdsourcing

Wendy Wang, Yu Tao+3 more|arXiv (Cornell University)|Mar 9, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 25被引用 3

一句话总结

本文提出了一种众包方法，利用亚马逊机械 Turk 上的非专家工作者设计并评估基于游戏的隐私教育系统。通过收集游戏设计创意，并利用众包群体和隐私专家对最终游戏进行评估，研究证明非专家能够生成高质量、富有创意且具有教育效果的游戏概念，众包评估结果与专家意见高度一致（85% 一致率），且在参与度上甚至超过专家反馈。

ABSTRACT

As the Internet grows in importance, it is vital to develop methods and techniques for educating end-users to improve their awareness of online privacy. Web-based education tools have been proven effective in many domains and have been increasingly adopted by many online professional and educational services. However, the design and development of Web-based education tools for online privacy is still in the early stage. The traditional solutions always involve privacy experts who have sophisticated expertise. Such involvement can make the tool development costly. Furthermore, it is not clear how inspiring and effective these education tools are to general users of varying backgrounds, specially to novice users who have rarely dealt with online privacy issues before. In this paper, we design, develop, and evaluate a game-based privacy learning system by leveraging the wisdom of a crowd of non-experts on Amazon Mechanic Turk. Empirical study demonstrates that the crowd can provide high-quality ideas of designing and developing a practical, educational privacy learning game.

研究动机与目标

• 探索非专家众包群体是否能够为设计有效的基于游戏的隐私教育工具贡献高质量创意。
• 通过众包群体和隐私专家共同评估，检验一款隐私教育游戏的有效性，评估其可用性和教育影响。
• 探究在教育游戏开发中，利用众包进行创意设计与性能评估的可行性。
• 开发用于评估众包生成的游戏设计创意在正确性和新颖性方面的指标。
• 比较众包反馈与专家反馈在质量、参与度和教育价值方面的表现。

提出的方法

• 利用亚马逊机械 Turk 通过结构化的微型任务，从非专家群体中收集游戏设计创意。
• 将众包收集的创意聚合并整合为一个连贯的游戏设计原型，用于隐私教育游戏。
• 开发了一个三阶段系统：创意收集、游戏开发和游戏评估。
• 应用多尺度评估指标（正确性、新颖性、可行性）以评估众包生成创意的质量。
• 使用李克特量表和定性反馈，对众包群体和一组隐私专家进行游戏评估。
• 采用预测投票和李克特量表评分，比较不同评估策略的有效性。

实验结果

研究问题

• RQ1 非专家众包群体能否为隐私教育游戏生成高质量、富有创意且具有教育效果的构思？
• RQ2 在评估游戏教育影响方面，众包反馈的质量和参与度与隐私专家反馈相比如何？
• RQ3 在多大程度上可以将众包生成的创意聚合并转化为功能完整、可使用的游戏原型？
• RQ4 哪些指标最能捕捉众包生成的教育游戏概念的正确性和新颖性？
• RQ5 众包群体能否有效评估游戏的可用性和教育价值，尤其与专家评估相比？

主要发现

• 众包生成的游戏设计创意在整体质量上与专家意见达成 85% 的一致率，表明存在高度共识和可靠性。
• 众包评估的参与度比专家评估高出 15%，表明对普通用户具有更强的激励效果。
• 专家认为角色 Lucas 最具教育性，而众包群体则认为 Aiden 最具启发性，凸显了对教育有效性认知的差异。
• 研究发现，众包生成的创意具有高度的新颖性和实用性，显著融合了创意性与功能性特征。
• 评估过程表明，众包反馈在识别具有吸引力且直观的游戏元素方面尤为有效，即使专家认为这些元素微不足道。
• 结果证实，众包方法在设计和评估教育游戏方面具有成本效益且富有创新性，尤其适用于面向多样化非专家受众的场景。