[논문 리뷰] Personalized HeartSteps: A Reinforcement Learning Algorithm for Optimizing Physical Activity

Peng Liao, Kristjan Greenewald외 2명|arXiv (Cornell University)|2019. 09. 08.

Advanced Bandit Algorithms Research참고 문헌 43인용 수 23

한 줄 요약

이 논문은 실시간으로 사용자 맥락에 맞는 활동 제안을 모바일 알림을 통해 제공할지 여부를 결정함으로써, 신체 활동을 위한 즉시적이고 적응형 간병(Just-in-Time Adaptive Interventions, JITAI)을 동적으로 최적화하는 개인화된 강화학습(RL) 알고리즘인 HeartSteps V2를 제시한다. 알고리즘은 탐색과 이용의 균형을 이루기 위해 지연된 치료 효과의 대체 변수를 사용하는 톰슨 샘플링을 활용하며, 합성 데이터 및 프리랜드 데이터에서 기준 방법에 비해 향상된 장기적인 신체 활동 결과를 달성한다.

ABSTRACT

With the recent evolution of mobile health technologies, health scientists are increasingly interested in developing just-in-time adaptive interventions (JITAIs), typically delivered via notification on mobile device and designed to help the user prevent negative health outcomes and promote the adoption and maintenance of healthy behaviors. A JITAI involves a sequence of decision rules (i.e., treatment policy) that takes the user's current context as input and specifies whether and what type of an intervention should be provided at the moment. In this paper, we develop a Reinforcement Learning (RL) algorithm that continuously learns and improves the treatment policy embedded in the JITAI as the data is being collected from the user. This work is motivated by our collaboration on designing the RL algorithm in HeartSteps V2 based on data from HeartSteps V1. HeartSteps is a physical activity mobile health application. The RL algorithm developed in this paper is being used in HeartSteps V2 to decide, five times per day, whether to deliver a context-tailored activity suggestion.

연구 동기 및 목표

• 모바일 헬스에서 즉시적이고 적응형 간병(JITAI)을 위한 치료 정책을 지속적으로 학습하고 최적화하는 강화학습 알고리즘을 개발하기.
• 실시간 사용자 맥락에 기반해 맥락에 맞는 제안을 제공할지 여부를 동적으로 결정하여 HeartSteps V2에서 신체 활동 간병을 개인화하기.
• 지연된 치료 효과 문제를 해결하기 위해 간병 부담과 반응성 추적을 위한 대체 변수를 통합함으로써 모바일 헬스에서의 도전 과제를 해결하기.
• HeartSteps V1에서 생성한 합성 데이터와 현재 진행 중인 HeartSteps V2 시험의 프리랜드 데이터를 사용하여 알고리즘 성능 평가하기.
• 실시간으로 탐색(증거 수집)과 이용(효과적인 간병 제공)의 균형을 유지함으로써 장기적 간병 효과를 향상시키기.

제안 방법

• 알고리즘은 사용자 맥락(예: 시간대, 위치, 현재 활동 등)의 특징을 사용하여 근접한 신체 활동에 대한 활동 제안의 치료 효과를 추정하기 위해 베이지안 비모수 모델을 활용한다.
• 탐색과 이용의 균형을 이루기 위해 톰슨 샘플링을 적용하며, 제안을 제공할 확률은 치료 효과의 후행 추정치에 따라 업데이트된다.
• 지연된 효과의 대체 변수를 도입하여 이전 제안의 누적 부담을 캡처함으로써, 효과가 지연될 경우 간병 과다 제공을 방지하는 데 기여한다.
• 합성 평가를 위한 RL 정책의 생성 모델을 구축하고 사전 분포를 설정하기 위해 HeartSteps V1의 데이터를 활용한다.
• 알고리즘은 HeartSteps V2 임상 시험 기간 동안 실시간으로 배포되며, 현재 맥락과 학습된 정책에 기반해 하루 5회 결정을 내린다.
• 치료 효과의 후행 평균 추정치는 순차적으로 업데이트되며, 정규화 확률은 추정된 효과성과 지연된 반응에 대한 대체 변수에 따라 조정된다.

실험 결과

연구 질문

• RQ1 실시간으로 모바일 헬스 데이터를 사용하여 개인화된 치료 정책을 효과적으로 학습하고 최적화하는 강화학습 알고리즘이 가능한가?
• RQ2 지연된 치료 효과의 대체 변수를 통합함으로써 즉시적이고 적응형 간병의 성능과 안전성은 어떻게 향상되는가?
• RQ3 지연된 효과의 대체 변수 없이 톰슨 샘플링을 사용하는 기준 방법에 비해 제안된 RL 알고리즘의 상대적 성능은 어떠한가?
• RQ4 개별 사용자 간 간병에 대한 반응성의 차이가 알고리즘의 학습 동역학과 랜덤화 확률에 어떤 영향을 미치는가?
• RQ5 알고리즘이 시간이 지남에 따라 효과가 감소하는 등의 사용자 반응성 변화에 신속히 적응하여 이탈을 방지할 수 있는가?

주요 결과

• 제안된 RL 알고리즘은 HeartSteps V1 데이터를 기반으로 생성된 합성 실험에서 기준 톰슨 샘플링 방법에 비해 뛰어난 성능을 보이며, 장기적인 신체 활동 결과 향상을 입증했다.
• HeartSteps V2의 프리랜드 데이터에서 참가자 ID=4는 제안 이후에 걸음 수에 변화가 없었고, 효과가 없음에도 불구하고 알고리즘이 여전히 0.2–0.4의 확률로 랜덤화를 계속하여, 신호 탐지 능력 향상의 필요성을 시사했다.
• 매우 반응성이 높았던 참가자 ID=7는 시간이 지남에 따라 반응성이 감소했으나, 알고리즘의 랜덤화 확률은 지연된 후에야 크게 감소하기 시작하여, 대체 변수 메커니즘이 급격한 변화에 아직 충분히 민감하지 않음을 보여주었다.
• 지연된 반응이 존재할 경우, 지연된 치료 효과의 대체 변수가 간병 빈도를 효과적으로 감소시켰으며, 프리랜드 데이터에서 실제와 대체 변수 조정된 랜덤화 확률 간 격차가 명확하게 관찰되었다.
• 알고리즘의 성능는 지연된 효과의 대체 변수의 품질에 민감하게 영향을 받았으며, 프리랜드 데이터에서의 교훈을 바탕으로 반응성 향상과 과다 사용 감소를 위한 알고리즘 개선이 이루어졌다.
• 향후 연구는 유사 사용자 간의 정보를 통합하여 학습 속도를 가속화하고, 부담 및 참여도 지표를 정교화하여 실시간 적응을 향상시켜야 한다.