[論文レビュー] Leveraging Crowd for Game-based Learning: A Case Study of Privacy Education Game Design and Evaluation by Crowdsourcing

Wendy Wang, Yu Tao+3 more|arXiv (Cornell University)|Mar 9, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 25被引用数 3

ひとこと要約

本稿では、アマゾンのメカニカル・トゥルースから非専門家労働者を活用して、ゲームベースのプライバシー教育システムの設計と評価を行うクラウドソーシング手法を提案する。ゲームデザインのアイデアを収集し、最終的なゲームをクラウドとプライバシー専門家で評価することで、非専門家が高品質で創造的かつ教育的に効果的なゲームコンセプトを生成できることを示している。クラウド評価では、専門家との一致度が85%に達し、専門家評価を上回る高い関与度を示した。

ABSTRACT

As the Internet grows in importance, it is vital to develop methods and techniques for educating end-users to improve their awareness of online privacy. Web-based education tools have been proven effective in many domains and have been increasingly adopted by many online professional and educational services. However, the design and development of Web-based education tools for online privacy is still in the early stage. The traditional solutions always involve privacy experts who have sophisticated expertise. Such involvement can make the tool development costly. Furthermore, it is not clear how inspiring and effective these education tools are to general users of varying backgrounds, specially to novice users who have rarely dealt with online privacy issues before. In this paper, we design, develop, and evaluate a game-based privacy learning system by leveraging the wisdom of a crowd of non-experts on Amazon Mechanic Turk. Empirical study demonstrates that the crowd can provide high-quality ideas of designing and developing a practical, educational privacy learning game.

研究の動機と目的

• 非専門家のクラウドが、効果的なゲームベースのプライバシー教育ツールの設計に高品質なアイデアを提供できるかどうかを検討すること。
• クラウドとプライバシー専門家を用いて、プライバシー教育ゲームの有効性を評価し、使いやすさと教育的影響を測定すること。
• 教育ゲーム開発において、クラウドソーシングを活用して創造的設計とパフォーマンス評価の両方を実現する可能性を調査すること。
• クラウドが生成したゲームデザインアイデアの正しさと独自性を評価するためのメトリクスを開発すること。
• 質、関与度、教育的価値の観点から、クラウドフィードバックと専門家フィードバックを比較すること。

提案手法

• 非専門家からなるクラウドから、構造化されたマイクロタスクを通じてゲームデザインアイデアを収集するために、アマゾン・メカニカル・トゥルースを活用した。
• クラウドソーシングされたアイデアを統合・統合し、プライバシー教育ゲームのための整合性のあるゲームデザインプロトタイプを構築した。
• アイデア収集、ゲーム開発、ゲーム評価の3段階からなるシステムを構築した。
• 正しさ、独自性、実現可能性のマルチスケール評価メトリクスを適用し、クラウドが生成したアイデアの質を評価した。
• リッカート尺度と質的フィードバックを用いて、クラウドとプライバシー専門家グループによるゲーム評価を実施した。
• 予測投票とリッカート尺度評価を用いて、異なる評価戦略の有効性を比較した。

実験結果

リサーチクエスチョン

• RQ1 非専門家クラウドは、プライバシー教育ゲームに適した高品質で創造的かつ教育的に効果的なアイデアを生成できるか？
• RQ2 ゲームの教育的影響を評価するにあたり、クラウドフィードバックの質と関与度は、プライバシー専門家のフィードバックと比べてどうか？
• RQ3 どの程度まで、クラウドソーシングされたアイデアを統合し、機能的で使用可能なゲームプロトタイプに変換できるか？
• RQ4 クラウドが生成した教育ゲームコンセプトの正しさと独自性を最もよく捉えるメトリクスは何か？
• RQ5 クラウドは、特に専門家評価と比較して、ゲームの使いやすさと教育的価値を効果的に評価できるか？

主な発見

• クラウドが生成したゲームデザインアイデアは、専門家と85％の一致を示し、全体的な質に関して強い合意と信頼性があることを示している。
• クラウド評価では、専門家評価よりも15％高い関与度を示しており、一般ユーザーに対してより高い動機付け効果があることを示唆している。
• 専門家はキャラクターのルーカスを最も教育的だと評価したが、クラウドはエイデンを最もインspiring（インスピレーションを与える）と評価しており、教育的効果の認識に差が生じていることが明らかになった。
• 本研究では、クラウドが生成したアイデアが著しく独創的かつ実用的であり、創造的で機能的な要素が顕著に統合されていることが判明した。
• 評価プロセスの結果、クラウドフィードバックは、専門家が些細だと考える要素でさえも、魅力的で直感的なゲーム要素として的確に特定できていた。
• 結果として、本研究は、多様な非専門家層を対象とする教育ゲームの設計と評価において、クラウドソーシングが費用対効果に優れ、革新的な手法であることを確認した。