[논문 리뷰] Persuading to Prepare for Quitting Smoking with a Virtual Coach: Using States and User Characteristics to Predict Behavior

Nele Albers, Mark A. Neerincx외 1명|arXiv (Cornell University)|2023. 04. 05.

Behavioral Health and InterventionsPsychology인용 수 3

한 줄 요약

이 연구는 강화학습(RL) 기반의 가상 코칭 시스템에서 사용자 상태 및 특성의 영향을 평가하여 금연을 위한 행동 예측에 미치는 영향을 분석한다. 연구 결과, 사용자 상태는 행동 예측과 향후 상태 예측 모두에서 유의미한 개선을 보였으며, 참여도와 같은 사용자 특성은 상태 정보와 결합될 경우에만 도움이 되는 것으로 나타났다. 이는 개인화된 전자 건강(eHealth) 설득 알고리즘에 상태와 특성을 통합할 것을 지지한다.

ABSTRACT

Despite their prevalence in eHealth applications for behavior change, persuasive messages tend to have small effects on behavior. Conditions or states (e.g., confidence, knowledge, motivation) and characteristics (e.g., gender, age, personality) of persuadees are two promising components for more effective algorithms for choosing persuasive messages. However, it is not yet sufficiently clear how well considering these components allows one to predict behavior after persuasive attempts, especially in the long run. Since collecting data for many algorithm components is costly and places a burden on users, a better understanding of the impact of individual components in practice is welcome. This can help to make an informed decision on which components to use. We thus conducted a longitudinal study in which a virtual coach persuaded 671 daily smokers to do preparatory activities for quitting smoking and becoming more physically active, such as envisioning one's desired future self. Based on the collected data, we designed a Reinforcement Learning (RL)-approach that considers current and future states to maximize the effort people spend on their activities. Using this RL-approach, we found, based on leave-one-out cross-validation, that considering states helps to predict both behavior and future states. User characteristics and especially involvement in the activities, on the other hand, only help to predict behavior if used in combination with states rather than alone. We see these results as supporting the use of states and involvement in persuasion algorithms. Our dataset is available online.

연구 동기 및 목표

• 전자 건강(eHealth) 응용 프로그램에서 설득적 간섭 후 행동 예측에 있어 알고리즘 구성 요소인 사용자 상태와 특성의 개별적 영향을 이해하는 것.
• 데이터 수집 부담을 줄이기 위해 행동 예측에 가장 효과적인 구성 요소를 식별함으로써 사용자 노력 감소와 비용 효율성 향상.
• 장기적인 행동 변화 간섭에서 상태(예: 자신감, 동기) 또는 사용자 특성(예: 연령, 성별, 참여도) 중 어느 것이 행동 예측에 더 효과적인지 평가하는 것.
• 상태와 특성을 결합할 경우, 개별적으로 사용할 경우보다 예측 정확도가 향상되는지 평가하는 것.
• eHealth 시스템에 통합할 고성능 구성 요소를 특정함으로써 더 효과적이고 사용자 友好的인 설득 알고리즘 설계를 지원하는 것.

제안 방법

• 671명의 일일 흡연자를 대상으로 금연 준비 활동 및 신체 활동 증진을 유도하기 위한 가상 코칭을 활용한 종단적 연구를 수행함.
• 다양한 시점에서 사용자 상태(자기 평가 질문지 COM-B를 통한 측정) 및 사용자 특성(예: 연령, 성별, 성격, 참여도) 데이터를 수집함.
• 현재 상태와 향후 상태를 모델링하여 준비 활동에 대한 사용자 노력 최대화를 목표로 한 강화학습(RL) 프레임워크를 적용함.
• 모델의 예측 성능 평가를 위해 한 명을 제외한 나머지 데이터를 사용하는 떼어내기 교차검증(leave-one-out cross-validation)을 활용함.
• 행동 변화 이론(COM-B)에 기반한 상태 특성 추출을 통해 상태-행동 쌍에 기반한 전이 확률과 기대 노력 값을 학습하는 RL 모델을 훈련함.
• 자기 보고 기반 노력 값을 행동 결과로 사용하여 모델 성능을 평가함. 행동 및 향후 상태 예측 정확도를 함께 분석함.

Figure 1. Left axis: Mean $L_{1}$ -error with 95% CIs for predicting rewards based on 1) the mean reward per action and 2) the mean reward per action and state. Right axis: Mean reward overall and per state.

실험 결과

연구 질문

• RQ1 장기적인 eHealth 간섭에서 사용자 상태는 이후 행동과 향후 상태를 얼마나 잘 예측하는가?
• RQ2 사용자 특성(예: 연령, 성별, 성격, 참여도)을 단독으로 사용할 경우 행동 예측 능력은 어느 정도인가?
• RQ3 사용자 상태와 특성을 결합할 경우, 개별적으로 사용할 경우보다 예측 정확도가 향상되는가?
• RQ4 행동 변화 시간에 따라 상태와 특성 중 어느 것이 행동 예측에 더 큰 기여를 하는가?
• RQ5 현재 상태와 향후 상태를 모두 고려하는 RL 모델은 준비 활동에 대한 사용자 참여도를 효과적으로 예측할 수 있는가?

주요 결과

• 사용자 상태를 고려할 경우, 가상 코칭 간섭에서 현재 행동과 향후 상태 예측 모두에서 유의미한 개선이 이루어짐.
• 참여도와 같은 사용자 특성 단독으로는 상태 정보와 결합되지 않은 한 행동 예측이 일관되게 이루어지지 않음.
• 활동에 대한 참여도와 상태를 함께 고려할 경우, 개별적으로 사용할 경우보다 더 뛰어난 예측 성능 확보.
• RL 기반 접근 방식은 상태 간의 동적 전이를 효과적으로 모델링하였으며, 설득 전략 수립 시 향후 상태를 고려하는 것이 유의미한 가치가 있음을 입증함.
• 본 연구의 데이터셋은 공개되어 있어 재현성과 개인화된 eHealth 간섭 분야의 후속 연구를 지원함.
• 결과적으로 행동 변화 모델링에서 특성 단독보다 상태가 더 효과적임을 시사하며, 이는 RL 기반 설득 알고리즘에 상태를 통합할 것을 지지함.

Figure 2. Comparison of three approaches to predicting next states with regards to the mean likelihood of next states with 95% CIs for each state.