[논문 리뷰] A Reinforcement Learning System to Encourage Physical Activity in Diabetes Patients

Irit Hochberg, Guy Feraru외 4명|arXiv (Cornell University)|2016. 05. 13.

Diabetes Management and Research참고 문헌 23인용 수 54

한 줄 요약

이 연구는 당뇨병 환자에게 신체 활동을 장려하기 위해 스마트폰 기반 강화학습(RL) 시스템을 제안한다. 실시간으로 계단 수 데이터를 수집하고 온라인 RL 학습을 통해 개인화된 문자 메시지를 동적으로 제공함으로써, 정적 알림이나 대조군에 비해 신체 활동이 유의하게 증가하고 HbA1c 수치가 향상되는 결과를 얻었다.

ABSTRACT

Regular physical activity is known to be beneficial to people suffering from diabetes type 2. Nevertheless, most such people are sedentary. Smartphones create new possibilities for helping people to adhere to their physical activity goals, through continuous monitoring and communication, coupled with personalized feedback. We provided 27 sedentary diabetes type 2 patients with a smartphone-based pedometer and a personal plan for physical activity. Patients were sent SMS messages to encourage physical activity between once a day and once per week. Messages were personalized through a Reinforcement Learning (RL) algorithm which optimized messages to improve each participant's compliance with the activity regimen. The RL algorithm was compared to a static policy for sending messages and to weekly reminders. Our results show that participants who received messages generated by the RL algorithm increased the amount of activity and pace of walking, while the control group patients did not. Patients assigned to the RL algorithm group experienced a superior reduction in blood glucose levels (HbA1c) compared to control policies, and longer participation caused greater reductions in blood glucose levels. The learning algorithm improved gradually in predicting which messages would lead participants to exercise. Our results suggest that a mobile phone application coupled with a learning algorithm can improve adherence to exercise in diabetic patients. As a learning algorithm is automated, and delivers personalized messages, it could be used in large populations of diabetic patients to improve health and glycemic control. Our results can be expanded to other areas where computer-led health coaching of humans may have a positive impact.

연구 동기 및 목표

• 지속적인 건강상의 이점에도 불구하고 신체 활동 권고 이행률이 낮은 2型 당뇨병 환자에게서의 저항성 문제를 해결하기 위해.
• 스마트폰 기반 시스템을 활용한 강화학습이 개인화된 신체 활동 피드백 이행률 향상에 기여할 수 있는지 탐색하기 위해.
• 정적 주간 알림 및 비개인화 정책과 비교하여 RL이 생성한 메시지의 효과를 평가하기 위해.
• 파ilot 연구를 통해 시스템이 신체 활동 수준과 혈액 포도당 조절(HbA1c)에 미치는 영향을 평가하기 위해.
• 확장 가능하고 개인화된 건강 간병을 위한 자동화된 적응형 디지털 코칭의 실현 가능성을 입증하기 위해.

제안 방법

• 스마트폰 애플리케이션이 내장된 보행수계 기능을 사용하여 27명의 환자로부터 매일의 신체 활동 데이터(보행 수)를 실시간으로 수집하였다.
• 온라인 강화학습 알고리즘이 환자의 이전 활동 및 반응 패턴을 기반으로 각 환자에게 가장 효과적인 문자 메시지를 실시간으로 선정하도록 훈련되었다.
• 메시지 선택을 최적화하기 위해 맥락 기반 밴디트 프레임워크를 사용하였으며, 매번 메시지의 결과(다음 날 활동 증가)를 기반으로 향후 메시지 선택을 향상시켰다.
• 메시지는 매일 발송되었으며, 환자의 행동에 맞게 조정되었는데, 예를 들어 무기력 상태 이후 격려 메시지나 진전 이후 칭찬 메시지를 RL 정책에 따라 제공하였다.
• 환자 데이터, HbA1c 수치 및 활동 로그는 행동 및 임상 결과 평가를 위해 종단적 방식으로 수집되었다.
• RL 정책은 정적 주간 알림 정책 및 비개인화 정책과 비교되었다.

실험 결과

연구 질문

• RQ1 개인화된 문자 피드백을 제공하는 강화학습 시스템이 2형 당뇨병 환자의 신체 활동 수준 향상에 기여할 수 있는가?
• RQ2 RL이 생성한 적응형 메시지가 정적 또는 비개인화 메시지보다 더 나은 혈액 포도당 조절(HbA1c 감소)을 이끌어낼 수 있는가?
• RQ3 RL 시스템에의 참여 기간이 임상 및 행동 결과에 어떤 영향을 미치는가?
• RQ4 개인화된 RL 메시지와 표준 주간 알림 간에 환자 만족도 및 실용성에 유의미한 차이가 존재하는가?
• RQ5 온라인, 온정책 강화학습이 실제 임상 행동 변화 환경에서 최적의 메시지 전략을 효과적으로 학습할 수 있는가?

주요 결과

• RL이 생성한 메시지를 받은 환자들은 대조군에 비해 하루 평균 보행 시간과 보행 속도가 유의미하게 증가하였다.
• RL 그룹은 정적 주간 알림 그룹 및 비개인화 정책 그룹보다 HbA1c 수치가 더 뚜렷하게 감소하였다.
• RL 시스템에 오랜 기간 참여한 환자일수록 HbA1c 감소 폭이 더 컸으며, 지속적인 참여가 누적된 효과를 가져옴을 시사하였다.
• RL 알고리즘이 시간이 지남에 따라 활동 증가로 이어질 만한 메시지를 예측하는 데 성공하여, 효과적인 온라인 학습이 이루어졌음을 입증하였다.
• 환자 만족도는 RL 그룹에서 유의미하게 높았으며, 80%의 환자가 메시지가 신체 활동 빈도 증가에 도움이 되었다고 응답하였고, 대조군은 0%였다.
• 이 연구는 RL 기반 개인화된 적응형 디지털 코칭이 실제 세계의 소규모 시범 연구에서 건강 행동 및 임상 결과 향상에 효과적일 수 있음을 입증하였다.