[논문 리뷰] Removing Gamification: A Research Agenda: Removing Gamification

Katie Seaborn|arXiv (Cornell University)|2021. 05. 08.

Educational Games and Gamification참고 문헌 29인용 수 2

한 줄 요약

이 논문은 인터랙티브 시스템에서 게임화를 제거했을 때 발생하는 영향을 조사하기 위한 연구 의제를 제안한다. 기존 연구에서는 방법론적 결함과 열악한 보고로 인해 혼합된 결과가 나타나며, 게임화를 중단한 후에도 지속되는 영향을 이해하기 위해 정량적이고 이론적인 연구가 필요하다.

ABSTRACT

The effect of removing gamification elements from interactive systems has been a long-standing question in gamification research. Early work and foundational theories raised concerns about the endurance of positive effects and the emergence of negative ones. Yet, nearly a decade later, no work to date has sought consensus on these matters. Here, I offer a rapid review on the state of the art and what is known about the impact of removing gamification. A small corpus of 8 papers published between 2012 and 2020 were found. Findings suggest a mix of positive and negative effects related to removing gamification. Significantly, insufficient reporting, methodological weaknesses, limited measures, and superficial interpretations of “negative” results prevent firm conclusions. I offer a research agenda towards better understanding the nature of gamification removal. I end with a call for empirical and theoretical work on illuminating the effects that may linger after systems are un-gamified.

연구 동기 및 목표

• 인터랙티브 시스템에서 게임화를 제거했을 때의 장기적 영향에 대한 합의가 부족한 문제를 해결하기 위해.
• 게임화 제거에 관한 기존 연구에서 드러나는 방법론적 약점과 보고 부족 문제를 규명하기 위해.
• 게임화를 제거한 후 시스템에 미치는 영향을 다각도로 분석하기 위한 체계적인 연구 의제를 제안하기 위해.
• 게임화 요소를 제거한 후에도 긍정적 또는 부정적 영향이 지속되는지 조사하기 위해.
• 게임화된 상태에서 비게임화된 상태로의 전환 과정을 철저하고 투명하며 체계적으로 연구할 것을 촉구하기 위해.

제안 방법

• 2012년에서 2020년 사이에 출판된 8편의 동료심사 논문을 대상으로 게임화 제거에 관한 빠른 리뷰를 수행하기 위해.
• 기존 연구에서 게임화 비활성화에 대한 방법론적 접근, 측정 도구, 보고 품질을 분석하기 위해.
• 제거 후 나타나는 긍정적 및 부정적 영향을 포함한 보고된 결과의 패턴을 식별하기 위해.
• 표면적인 '부정적' 결과 해석과 종단적 데이터 부족 등의 한계를 부각하기 위해.
• 실험적 및 이론적 이해의 격차를 기반으로 연구 의제를 수립하기 위해.
• 향후 연구에서 종단적 설계와 행동 및 심리적 결과의 강력한 측정을 포함할 것을 주장하기 위해.

실험 결과

연구 질문

• RQ1 인터랙티브 시스템에서 게임화를 제거했을 때의 단기적 및 장기적 영향은 무엇인가?
• RQ2 기존의 게임화 제거 연구에서 결과가 일관되지 않거나 상반되는 이유는 무엇인가?
• RQ3 게임화 제거 연구의 타당성을 가장 흔히 훼손하는 방법론적 결함은 무엇인가?
• RQ4 게임화에서 유도된 긍정적 행동 효과는 제거 후에도 지속되는가, 아니면 빠르게 감소하는가?
• RQ5 게임화된 상태에서 비게임화된 상태로의 전환을 더 잘 이해하기 위해 필요한 이론적 및 실험적 프레임워크는 무엇인가?

주요 결과

• 2012년에서 2020년 사이에 인터랙티브 시스템에서 게임화 요소를 제거한 연구는 단 8편에 불과하다.
• 이 연구들의 결과는 제거 후 긍정적 영향과 부정적 영향가 혼재되어 있으며, 결과에 대한 명확한 합의가 없다.
• 보고 부족, 방법론적 약점, 측정 도구의 제한, '부정적' 결과에 대한 표면적인 해석 등으로 인해 신뢰할 수 있는 결론을 내리기 어렵다.
• 게임화를 제거한 후 행동적 영향의 지속성 여부를 평가하는 종단적 연구가 뚜렷하게 부족하다.
• 게임화 효과가 제거 후에도 지속되는지 여부는 여전히 잘 이해되지 않으며, 이는 중요한 연구 격차를 드러낸다.
• 이 논문은 향후 연구가 지속 효과를 이해하기 위해 실험적 검증과 이론적 발전을 동시에 중시할 것을 촉구한다.