[논문 리뷰] How Gamification Affects Physical Activity: Large-scale Analysis of Walking Challenges in a Mobile Application

Ali Shameli, Tim Althoff외 2명|arXiv (Cornell University)|2017. 02. 24.

Educational Games and Gamification참고 문헌 35인용 수 19

한 줄 요약

이 연구는 800,000 명-일에 걸쳐 모바일 헬스 앱에서 진행된 2,500개의 산책 경쟁을 분석하여, 게임화된 대회가 평균 신체 활동을 23% 증가시킨다는 것을 발견했다. 연구는 참여자 간 기초 활동 수준을 유사하게 매칭하고 성비를 균형 있게 유지하는 등의 핵심 설계 원칙을 규명하여 참여도와 효과를 극대화하고, 향후 대회에 대한 참여도를 예측할 수 있는 모델을 개발하였으며, AUC가 75.1%에 이르는 정확도를 보였다.

ABSTRACT

Gamification represents an effective way to incentivize user behavior across a number of computing applications. However, despite the fact that physical activity is essential for a healthy lifestyle, surprisingly little is known about how gamification and in particular competitions shape human physical activity. Here we study how competitions affect physical activity. We focus on walking challenges in a mobile activity tracking application where multiple users compete over who takes the most steps over a predefined number of days. We synthesize our findings in a series of game and app design implications. In particular, we analyze nearly 2,500 physical activity competitions over a period of one year capturing more than 800,000 person days of activity tracking. We observe that during walking competitions, the average user increases physical activity by 23%. Furthermore, there are large increases in activity for both men and women across all ages, and weight status, and even for users that were previously fairly inactive. We also find that the composition of participants greatly affects the dynamics of the game. In particular, if highly unequal participants get matched to each other, then competition suffers and the overall effect on the physical activity drops significantly. Furthermore, competitions with an equal mix of both men and women are more effective in increasing the level of activities. We leverage these insights to develop a statistical model to predict whether or not a competition will be particularly engaging with significant accuracy. Our models can serve as a guideline to help design more engaging competitions that lead to most beneficial behavioral changes.

연구 동기 및 목표

• 다양한 사용자 인구통계적 특성에 걸쳐 모바일 헬스 앱에서 게임화된 산책 대회가 신체 활동 수준에 미치는 영향을 이해하기 위해.
• 대회 기간 동안 참여도와 신체 활동 증가를 극대화하는 게임 설계 요소를 특정하기 위해.
• 사용자 및 대회 특성 기반으로 향후 대회의 참여도 수준을 예측할 수 있는 예측 모델을 개발하기 위해.
• 참가자 구성 요소—예: 성비 균형과 활동 수준 유사성—이 대회 동적 변화와 결과에 미치는 영향을 분석하기 위해.
• 장기적인 신체 활동 향상을 위해 경쟁을 활용하고자 하는 모바일 헬스 애플리케이션을 위한 실질적인 설계 지침을 제공하기 위해.

제안 방법

• 1년간 Azumio Argus 앱에서 진행된 2,500개의 산책 대회에 대한 익명화된 보행 수 데이터를 수집하고 분석함. 총 800,000 명-일에 해당함.
• 기초 신체 활동 수준(대회 외부)과 대회 중 활동 패턴을 사용하여 매일의 보행 수 증가량과 순위 변화를 계산함.
• 인구통계적 데이터(나이, 성별, 체질량지수), 이전 대회 행동, 활동 수준 유사성 등의 변수를 사용하여 대회 참여도를 예측하는 통계 모델을 구축함.
• ROC AUC를 사용하여 모델 성능을 평가함. 주요 결과로는 FIRST-LAST 순위 차이, RANK SWAPS, ΔACTIVITY(활동 수준 변화)를 대상으로 함.
• 다양한 특성 조합(예: 인구통계학적 요소만 vs. 전체 특성 조합)을 사용한 모델를 비교하여 실생활 구현에 최소한의 효과적인 입력 조합을 규명함.
• 한정된 특성(예: 대회 외부 활동 수준 또는 기본 인구통계학적 정보)으로도 높은 예측 정확도를 보임으로써 모델의 강건성을 검증함.

실험 결과

연구 질문

• RQ1 모바일 헬스 앱에서 진행되는 산책 대회가 다양한 사용자 집단의 신체 활동 수준에 얼마나 영향을 미치는가?
• RQ2 참가자 구성 요소—예: 성비 균형과 대회 이전 활동 수준 유사성—이 대회 동적 변화와 사용자 참여도에 어떤 영향을 미치는가?
• RQ3 기본 사용자 및 대회 특성만으로도 대회의 참여도 또는 성공 수준을 예측할 수 있는가?
• RQ4 사용자의 이전 대회 행동과 새로운 대회에서의 성과 및 활동 증가량 간의 관계는 어떠한가?
• RQ5 불활동 상태의 사용자나 다양한 체질량지수 또는 연령대에 속하는 사용자 하위 집단에서 신체 활동 증가 폭은 어떻게 달라지는가?

주요 결과

• 참가자들은 평균적으로 대회 기간 동안 기초 수준 대비 매일 23% 더 많은 신체 활동을 하였다.
• 기존에 불활동 상태였던 사용자들 사이에서 보행 수가 1일 2,500보 이상 증가하는 가장 큰 증가 폭을 기록하여, 저활동 수준 집단에서의 행동 변화 잠재력이 높다는 것을 시사함.
• 대회에서 우승한 사용자들은 기초 수준 대비 활동량을 40~60% 증가시켰지만, 순위가 낮았던 사용자들은 평균적으로 대회 이전보다 활동량이 줄어들었다.
• 참가자 간 대회 이전 활동 수준의 불균형이 심한 대회에서는 전체적인 신체 활동 증가 폭이 유의미하게 감소하는 경향을 보였으며, 이는 균형 잡힌 매칭의 필요성을 강조함.
• 남성과 여성의 균형 잡힌 조합이 같은 성별 그룹보다 더 효과적으로 신체 활동을 증가시키는 것으로 나타남.
• 이전 대회 외부 활동 수준만을 사용한 통계 모델이 FIRST-LAST 순위 차이 예측에 70.7% ROC AUC를 기록하였고, 대회 외부 및 내부 활동 이력 모두를 포함한 모델은 75.1% AUC를 달성하여 참여도 결과 예측의 강력한 능력을 입증함.