[논문 리뷰] Effective Warm Start for the Online Actor-Critic Reinforcement Learning based mHealth Intervention

Feiyun Zhu, Peng Liao|arXiv (Cornell University)|2017. 04. 17.

Smart Grid Energy Management참고 문헌 11인용 수 6

한 줄 요약

이 논문은 이전 연구에서 유래한 역사적 데이터와 의사결정 규칙을 활용하여 모바일 헬스(mHealth) 간 interventions에서 온라인 액터-크리틱 강화학습을 위한 새로운 웜 스타트 전략을 제안한다. 이는 초기 학습 데이터를 풍부하게 하고 정책을 사전에 학습된 파라미터로 초기화함으로써 학습을 가속화한다. 이 방법은 초기 단계에서 상당한 성능 향상을 이룩하며, 궤적 길이가 30과 50일 때 각각 최신 기술 대비 평균 보상에서 67.57 및 69.72 단계의 향상을 기록한다.

ABSTRACT

Online reinforcement learning (RL) is increasingly popular for the personalized mobile health (mHealth) intervention. It is able to personalize the type and dose of interventions according to user's ongoing statuses and changing needs. However, at the beginning of online learning, there are usually too few samples to support the RL updating, which leads to poor performances. A delay in good performance of the online learning algorithms can be especially detrimental in the mHealth, where users tend to quickly disengage with the mHealth app. To address this problem, we propose a new online RL methodology that focuses on an effective warm start. The main idea is to make full use of the data accumulated and the decision rule achieved in a former study. As a result, we can greatly enrich the data size at the beginning of online learning in our method. Such case accelerates the online learning process for new users to achieve good performances not only at the beginning of online learning but also through the whole online learning process. Besides, we use the decision rules achieved in a previous study to initialize the parameter in our online RL model for new users. It provides a good initialization for the proposed online RL algorithm. Experiment results show that promising improvements have been achieved by our method compared with the state-of-the-art method.

연구 동기 및 목표

• 초기 데이터 부족으로 인한 mHealth에서의 온라인 강화학습(RL)의 열악한 초기 성능을 해결하기 위해.
• 첫 번째 상호작용부터의 간섭 품질 향상으로 mHealth 앱에서의 사용자 이탈을 줄이기 위해.
• 이전 연구에서 유래한 데이터와 의사결정 규칙을 활용하여 초기 학습 데이터를 풍부화하고 정책 초기화를 향상시키기 위해.
• 개인화된 mHealth 간섭을 위한 온라인 RL에서 수렴 속도를 가속화하고 성능을 향상시키기 위해.
• 효과적인 웜 스타트가 초기 단계 온라인 학습에서 무작위 웜 스타트보다 뚜렷이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이전 연구에서 유래한 의사결정 규칙과 데이터를 활용하여 온라인 RL 모델의 정책 파라미터를 초기화한다.
• 로지스틱 함수를 사용한 파rameterized 정책을 적용한다: $\pi_{\theta}(a|s) = \exp[a\theta^T\phi(s)] / \{1 + \exp[\theta^T\phi(s)]\}$, 여기서 $\phi(s) = [1, s^T]^T$.
• 특징 $\mathbf{x}(s,a) = [1, s^T, a, s^T a]^T \in \mathbb{R}^{2p+2}$를 사용하여 가치 함수 추정을 수행하는 액터-크리틱 프레임워크를 적용한다.
• 무작위 웜 스타트(RWS)가 $T_0$개의 샘플을 기다리는 것과 달리, 첫 번째 데이터 튜플 수신 즉시 온라인 학습을 시작한다.
• 학습이 진행됨에 따라 새로운 사용자 데이터의 목적 함수에서의 가중치를 점차 증가시킨다.
• 마르코프 결정 과정(MDP)에서 지연 보상을 모델링하기 위해 할인 요소 $\gamma \in [0, 1)$를 사용한다.

실험 결과

연구 질문

• RQ1 이전 연구에서 유래한 역사적 데이터와 의사결정 규칙을 활용하면 mHealth에서 온라인 RL의 초기 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 효과적인 웜 스타트는 무작위 웜 스타트에 비해 고성능 정책에 도달하는 데 걸리는 지연을 줄일 수 있는가?
• RQ3 이전 연구 결과를 활용한 개인화된 정책 초기화는 mHealth 애플리케이션에서 사용자 유지를 향상시킬 수 있는가?
• RQ4 누적 보상 측면에서 제안된 웜 스타트 방법은 무작위 웜 스타트와 어떻게 비교되는가?
• RQ5 이 방법은 mHealth에서 순차적 의사결정을 위한 온라인 액터-크리틱 RL에서 수렴 속도를 얼마나 가속화하는가?

주요 결과

• 제안된 뉴 웜 스타트(NWS-RL) 방법은 $T=30$에서 평균 보상 1393.1을 기록하며, 두 번째로 좋은 방법(RWS-RL with $T_0=10$)보다 67.57 단계 높다.
• $T=50$일 때 NWS-RL은 평균 보상 1405.0을 기록하며, 두 번째로 좋은 방법보다 69.72 단계 높다.
• NWS-RL은 첫 번째 데이터 튜플 수신 직후 즉시 학습을 시작하지만, RWS-RL은 업데이트를 시작하기 전에 $T_0=5$ 또는 $10$개의 샘플을 기다려야 한다.
• $\gamma=0$ (컨텍스트 밴딧 설정)일 때조차도 NWS-RL은 RWS-RL($T_0=10$)보다 높은 평균 보상(1367.6)을 기록하며, RWS-RL은 1349.7을 기록한다.
• 모든 할인 요소 $\gamma$에 대해 NWS-RL은 RWS-RL을 일관되게 뛰어넘으며, 중간 값에서 가장 큰 성과 향상을 보인다.
• 결과는 효과적인 웜 스타트가 mHealth 간섭을 위한 온라인 RL에서 초기 성능 향상과 학습 가속화에 뚜렷한 기여를 한다는 것을 입증한다.