[논문 리뷰] Gamification in Science: A Study of Requirements in the Context of Reproducible Research

Sebastian S. Feger, Sünje Dallmeier-Tiessen외 2명|arXiv (Cornell University)|2019. 03. 06.

Educational Games and Gamification참고 문헌 23인용 수 12

한 줄 요약

이 연구는 고에너지물리학 분야에서 재현가능한 연구 관행을 촉진하기 위해 게임화를 탐색하며, 이성적-정보적 및 개방적 경쟁성이라는 대조적인 게임 메커니즘을 가진 두 가지 상호작용형 프로토타입을 설계하고 평가한다. 결과적으로 두 설계 모두가 가치 있고 설득력 있다고 평가되었지만, 개인 기여도와 연구 품질을 공정하게 반영하는 것이 핵심 과제로 드러났으며, 이는 과학 분야에서 윤리적이고 사용자 중심의 게임화를 위한 설계 함의를 이끌어냈다.

ABSTRACT

The need for data preservation and reproducible research is widely recognized in the scientific community. Yet, researchers often struggle to find the motivation to contribute to data repositories and to use tools that foster reproducibility. In this paper, we explore possible uses of gamification to support reproducible practices in High Energy Physics. To understand how gamification can be effective in research tools, we participated in a workshop and performed interviews with data analysts. We then designed two interactive prototypes of a research preservation service that use contrasting gamification strategies. The evaluation of the prototypes showed that gamification needs to address core scientific challenges, in particular the fair reflection of quality and individual contribution. Through thematic analysis, we identified four themes which describe perceptions and requirements of gamification in research: Contribution, Metrics, Applications and Scientific practice. Based on these, we discuss design implications for gamification in science.

연구 동기 및 목표

• 재현가능한 연구에서 데이터를 보존하고 공유하는 데 연구자들의 동기가 낮은 문제에 대응한다.
• 특히 데이터 집약적인 분야인 고에너지물리학과 같은 과학 공동체에서 게임화가 데이터 문서화 및 공유를 효과적으로 지원할 수 있는지 조사한다.
• 공정성, 품질 반영, 팀 협업과 같은 과학적 가치와 일치하는 게임화의 핵심 설계 요구사항을 규명한다.
• 이성적-정보적 대비 개방적 경쟁 전략을 비교하여 연구자들 사이에서의 인식된 가치, 즐거움, 적합성에 대해 평가한다.
• 연구자들을 이질적으로 느끼게 하거나 재현성 관행에 대한 장기적 참여를 방해하지 않는 과학 분야의 게임화 설계 함의를 도출한다.

제안 방법

• 고에너지물리학 분야의 데이터 분석가들을 대상으로 인터뷰를 실시하고 워크숍을 관찰하여 그들의 필요와 인식을 이해한다.
• 게임화 및 재현가능한 연구에 관한 문헌 검토를 수행하여 설계 원칙을 도출한다.
• 이성적 피드백과 지표를 강조하는 설계(이성적-정보적)와 경쟁 및 랭킹을 강조하는 설계(개방적 경쟁성)를 사용한 연구 보존 서비스에 대한 두 가지 상호작용형 프로토타입을 설계한다.
• 반구조화된 인터뷰와 설문지를 활용해 고에너지물리학 연구자들을 대상으로 정성적 사용자 테스트를 통해 프로토타입을 평가한다.
• 인터뷰 데이터에 대해 주제 분석을 적용하여 과학 분야의 게임화와 관련된 반복되는 주제를 식별한다.
• 기존의 실천 방식(예: 오픈 사이언스 배지)과 연계하여 윤리적이고 지속 가능한 과학 도구의 게임화를 위한 설계 함의를 도출한다.

실험 결과

연구 질문

• RQ1 고에너지물리학 분야의 연구자들은 연구 보존 맥락에서 이성적 피드백과 경쟁 랭킹을 강조하는 게임화 전략을 어떻게 평가하는가?
• RQ2 재현가능한 연구 관행을 촉진하기 위해 가치 있고 즐겁고 적합하며 설득력 있는 설계 요소는 무엇인가?
• RQ3 연구자들은 개인 기여도와 연구 품질을 반영하는 게임화의 공정성 문제를 어떻게 평가하는가?
• RQ4 동료 압박과 팀 인식 같은 사회적 역학은 과학 워크플로우에서 게임화의 효과성에 어떤 역할을 하는가?
• RQ5 기존의 메커니즘인 오픈 사이언스 배지와 비교해보았을 때, 제안된 게임화 설계는 인식된 영향력과 윤리적 일치성 측면에서 어떻게 다른가?

주요 결과

• 고에너지물리학 연구자들 사이에서 이성적-정보적 설계와 개방적 경쟁성 설계 양쪽 모두가 인식된 가치, 즐거움, 적합성, 설득력 측면에서 높은 평가를 받았다.
• 연구자들은 개인 기여도를 수량화하기 어려운 상황에서 개인 성과를 강조하는 것에 대해 강한 우려를 표명했으며, 이는 개인화된 보상에 대한 논란을 암시한다.
• 팀 기반 및 분석 중심의 보상은 널리 수용되었고 요구되었으며, 이는 개인 랭킹보다 과학적 협업 기준과 더 잘 부합함을 시사한다.
• 연구 품질과 기여도 투명성을 반영하는 지표는 게임화 시스템의 신뢰성과 정당성 확보에 필수적이라고 평가되었다.
• 사회적 압박은 협업 연구 환경에서 잠재적 동기 요소로 나타났으며, 활동 및 진행 상황의 가시성은 참여를 장려할 수 있다.
• 본 연구는 윤리적이고 효과적인 과학 분야의 게임화를 위한 설계 요구사항을 이끌어내기 위해 기여, 지표, 응용, 과학적 실천의 네 가지 핵심 주제를 규명했다.