[論文レビュー] Gamification in Science: A Study of Requirements in the Context of Reproducible Research

Sebastian S. Feger, Sünje Dallmeier-Tiessen+2 more|arXiv (Cornell University)|Mar 6, 2019

Educational Games and Gamification参考文献 23被引用数 12

ひとこと要約

本研究では、高エネルギー物理学分野における再現可能研究手法の実践を促進するため、合理的で情報提供型のゲームメカニクスと、オープンで競争的なゲームメカニクスを対比的に持つ2つのインタラクティブプロトタイプの設計と評価を通じて、ゲーム化の可能性を探る。結果として、両方のデザインとも価値があり説得力があると評価されたが、個人の貢献と品質を適切に反映する公平性が重要な課題として浮き彫りになった。これにより、科学分野における倫理的でユーザー中心のゲーム化のための設計インサイトが得られた。

ABSTRACT

The need for data preservation and reproducible research is widely recognized in the scientific community. Yet, researchers often struggle to find the motivation to contribute to data repositories and to use tools that foster reproducibility. In this paper, we explore possible uses of gamification to support reproducible practices in High Energy Physics. To understand how gamification can be effective in research tools, we participated in a workshop and performed interviews with data analysts. We then designed two interactive prototypes of a research preservation service that use contrasting gamification strategies. The evaluation of the prototypes showed that gamification needs to address core scientific challenges, in particular the fair reflection of quality and individual contribution. Through thematic analysis, we identified four themes which describe perceptions and requirements of gamification in research: Contribution, Metrics, Applications and Scientific practice. Based on these, we discuss design implications for gamification in science.

研究の動機と目的

• 再現可能研究におけるデータの保存と共有を促す研究者の動機付けが低いという継続的な課題に対処すること。
• 特にデータ集積が著しい分野である高エネルギー物理学において、ゲーム化がデータドキュメンテーションと共有を効果的に支援できるかを調査すること。
• 公平性、品質の反映、チームワークといった科学的価値と整合するゲーム化のコアな設計要件を特定すること。
• 合理的で情報提供型の戦略と、オープンで競争的な戦略を対比的に比較し、研究者たちがそれらをどれほど価値ある、楽しい、適切で説得力があると感じるかを評価すること。
• 研究者を遠ざけず、再現性実践への長期的関与を支援する科学分野におけるゲーム化の設計インサイトを導出すること。

提案手法

• 高エネルギー物理学のデータアナリストを対象にインタビューとワークショップの観察を実施し、ニーズや認識を理解すること。
• ゲーム化と再現可能研究に関する文献レビューを実施し、設計原則を支援すること。
• 2つの異なるゲーム化戦略を用いた研究保存サービスのインタラクティブプロトタイプを設計：1つは合理的なフィードバックとメトリクスに重点（合理的で情報提供型）、もう1つは競争とランクイン・リーダーボードに重点（オープンで競争的）。
• 半構造化インタビューとアンケートを用いた定性的ユーザーテストを通じて、プロトタイプを高エネルギー物理学の研究者に対して評価すること。
• インタビューデータにテーマ分析を適用し、科学におけるゲーム化に関連する繰り返し現れるテーマを同定すること。
• 既存の実践（例：オープンサイエンスバッジ）と照らし合わせ、倫理的で持続可能な科学ツールにおけるゲーム化の設計インサイトを導出すること。

実験結果

リサーチクエスチョン

• RQ1 高エネルギー物理学の研究者は、研究保存の文脈において、合理的なフィードバックを重視するゲーム化戦略と、競争的リーダーボードを重視するゲーム化戦略をどのように認識しているか？
• RQ2 再現可能研究実践を促進するために、どのようなデザイン要素が価値があり、楽しい、適切で説得力があるとされるか？
• RQ3 研究者たちは、ゲーム化が個人の貢献と研究品質を適切に反映するという点で、公平性をどのように評価しているか？
• RQ4 同僚からのプレッシャーやチームの承認といった社会的ダイナミクスが、科学的ワークフローにおけるゲーム化の効果に果たす役割は何か？
• RQ5 Open Science Badges などの既存のメカニズムと比較して、提案されたゲーム化デザインは、実感される影響と倫理的整合性の観点でどのように異なるか？

主な発見

• 高エネルギー物理学の研究者から、合理的で情報提供型のゲーム化とオープンで競争的なゲーム化の両方のデザインが、価値、楽しさ、適切さ、説得力の観点で高い評価を受けた。
• 研究者たちは、貢献が明確に測定できない場合に個人の成果を強調する仕組みに対して強い懸念を示し、個人報酬のあり方について議論の余地があると指摘した。
• チームベースで、分析に焦点を当てた報酬は広く受け入れられ、望まれており、これは個人のリーダーボードよりも科学的共同作業の習慣に合致していると示唆された。
• 研究の品質と貢献の透明性を反映するメトリクスは、ゲーム化システムにおける信頼性と正当性を確保するために不可欠であると見なされた。
• 社会的プレッシャーは、特に共同研究環境において、参加を促す潜在的な動機として浮き彫りになった。活動の可視化や進捗の追跡が、参加意欲を高める可能性がある。
• 本研究では、貢献、メトリクス、応用、科学的実践の4つの主要テーマを特定し、倫理的かつ効果的な科学分野におけるゲーム化の設計要件を形づくる要因となった。