[논문 리뷰] Personalization Paradox in Behavior Change Apps: Lessons from a Social Comparison-Based Personalized App for Physical Activity

Jichen Zhu, Diane H. Dallal외 5명|arXiv (Cornell University)|2021. 01. 25.

Mobile Health and mHealth Applications참고 문헌 65인용 수 5

한 줄 요약

이 연구는 모바일 헬스 앱에서 신체 활동 동기를 향상시키기 위해 인공지능 기반의 개인화된 사회적 비교 시스템을 도입한다. 사용자 선호도에 따라 동적으로 사회적 비교 목표를 조정하기 위해 다중 손잡이 밴딧 알고리즘을 활용한 접근 방식은 동기 부여와 보행 수에서 소규모에서 중간 규모의 효과 크기를 달성했으며, 정확한 사용자 모델링과 효과적인 행동 변화 사이의 갈등인 '개인화 역설(Personalization Paradox)'를 핵심 설계 과제로 규명했다.

ABSTRACT

Social comparison-based features are widely used in social computing apps. However, most existing apps are not grounded in social comparison theories and do not consider individual differences in social comparison preferences and reactions. This paper is among the first to automatically personalize social comparison targets. In the context of an m-health app for physical activity, we use artificial intelligence (AI) techniques of multi-armed bandits. Results from our user study (n=53) indicate that there is some evidence that motivation can be increased using the AI-based personalization of social comparison. The detected effects achieved small-to-moderate effect sizes, illustrating the real-world implications of the intervention for enhancing motivation and physical activity. In addition to design implications for social comparison features in social apps, this paper identified the personalization paradox, the conflict between user modeling and adaptation, as a key design challenge of personalized applications for behavior change. Additionally, we propose research directions to mitigate this Personalization Paradox.

연구 동기 및 목표

• 기존 피트니스 앱에서 심리적 차이를 고려하지 않는 개인화된 사회적 비교 기능의 부족을 해결하기 위해.
• 사용자 선호도와 반응에 따라 자동으로 사회적 비교 목표를 모델링하고 조정하는 인공지능 기반 시스템을 개발하기 위해.
• 실제 모바일 헬스 환경에서 개인화된 사회적 비교가 동기 부여와 신체 활동 수준을 향상시킬 수 있는지 평가하기 위해.
• 개인화된 행동 변화 응용 프로그램 내에서 정확한 사용자 모델링과 효과적인 행동 변화 사이의 갈등인 '개인화 역설(Personalization Paradox)'을 식별하고 분석하기 위해.
• 향후 모바일 헬스 및 행동 변화 시스템에서 개인화 역설을 완화하기 위한 설계 가이드라인과 연구 방향을 제안하기 위해.

제안 방법

• 사용자 피드백에 기반해 실시간으로 사회적 비교 목표를 모델링하고 조정하기 위해 다중 손잡이 밴딧 알고리즘을 활용했다.
• 사용자의 행동(일일 보행 수)과 동기 부여(자기 보고된 동기 수준) 반응에 대한 실시간 데이터를 수집했다.
• 모델 정확도 확보를 위해 초기 데이터 수집 기간 동안 사용자 선호도를 왜곡하지 않는 중립적이고 경쟁적이지 않은 인터페이스를 설계했다.
• 실제 환경에서의 영향을 평가하기 위해 21일간의 사용자 연구(n=53)를 수행했다.
• 두 단계로 구성된 개인화 프로세스를 구현: 첫째, 중립적으로 사용자 선호도를 모델링; 둘째, 검증된 사용자 프로필에 기반해 기능을 조정.
• 개별 사용자 선호도와 반응에 따라 동적으로 상향 또는 하향 비교 대상을 선택하기 위해 인공지능 기법을 적용했다.

실험 결과

연구 질문

• RQ1 인공지능 기반의 사회적 비교 목표 개인화가 모바일 헬스 앱에서 동기 부여와 신체 활동을 효과적으로 향상시킬 수 있는가?
• RQ2 사용자 간 사회적 비교 방향 선호도(상향 대비 하향)의 개인적 차이가 개인화된 사회적 비교에 대한 반응에 어떻게 영향을 미치는가?
• RQ3 정확한 모델링과 효과적인 행동 변화 사이의 갈등인 '개인화 역설(Personalization Paradox)'이 개인화된 행동 변화 시스템의 설계 및 성능에 어느 정도 영향을 미치는가?
• RQ4 중립적인 초기 단계가 사회적 비교 기반 모바일 헬스 간 interventions에서 사용자 모델링 정확도를 향상시킬 수 있는가?
• RQ5 동기 부여와 신체 활동에서 관찰된 소규모에서 중간 규모의 효과 크기가 실제 행동에 어떤 영향을 미치는가?

주요 결과

• 인공지능 기반 개인화 시스템은 실시간으로 개인의 사회적 비교 방향 선호도를 정확히 모델링하고, 이를 바탕으로 목표를 조정하는 데 성공했다.
• 개인화된 사회적 비교 목표에 노출된 사용자들은 동기 부여와 일일 보행 수에서 소규모에서 중간 규모의 효과 크기를 보였다.
• 개인화 역설이 핵심 과제로 규명되었으며, 정확한 모델링을 향상시키는 노력이 행동 영향을 감소시키고, 반대로 효과적인 행동 변화를 추구하는 노력이 정확한 모델링을 저해할 수 있음을 시사했다.
• 연구의 작은 표본 크기는 통계적 검정력에 제한을 둔 것으로, 관찰된 효과를 확인하기 위해 더 넓은 규모의 검증이 필요하다는 점을 시사했다.
• 사용자가 앱에 접속한 시간대의 다양성이 사회적 비교 노출의 즉각적인 행동 영향을 약화시킬 수 있었다.
• 일부 사용자에게는 사회적 비교 선호도가 정적인 것으로 간주하는 가정이 성립하지 않을 수 있으며, 향후 연구에서는 동적 사용자 모델링이 필요하다는 점을 시사했다.