[论文解读] Effective Warm Start for the Online Actor-Critic Reinforcement Learning based mHealth Intervention

Feiyun Zhu, Peng Liao|arXiv (Cornell University)|Apr 17, 2017

Smart Grid Energy Management参考文献 11被引用 6

一句话总结

本文提出了一种新颖的在线演员-评论家强化学习在移动健康（mHealth）干预中的热启动策略，利用先前研究中的历史数据和决策规则来加速学习。通过使用预先学习的参数初始化策略并丰富早期训练数据，该方法从一开始就显著提升了性能，在轨迹长度为30和50时，平均奖励分别比最先进方法高出67.57步和69.72步。

ABSTRACT

Online reinforcement learning (RL) is increasingly popular for the personalized mobile health (mHealth) intervention. It is able to personalize the type and dose of interventions according to user's ongoing statuses and changing needs. However, at the beginning of online learning, there are usually too few samples to support the RL updating, which leads to poor performances. A delay in good performance of the online learning algorithms can be especially detrimental in the mHealth, where users tend to quickly disengage with the mHealth app. To address this problem, we propose a new online RL methodology that focuses on an effective warm start. The main idea is to make full use of the data accumulated and the decision rule achieved in a former study. As a result, we can greatly enrich the data size at the beginning of online learning in our method. Such case accelerates the online learning process for new users to achieve good performances not only at the beginning of online learning but also through the whole online learning process. Besides, we use the decision rules achieved in a previous study to initialize the parameter in our online RL model for new users. It provides a good initialization for the proposed online RL algorithm. Experiment results show that promising improvements have been achieved by our method compared with the state-of-the-art method.

研究动机与目标

• 为解决由于初始数据不足导致的在线强化学习（RL）在mHealth中早期性能差的问题。
• 通过从首次交互起就提升干预质量，减少mHealth应用中的用户流失。
• 利用先前研究中的数据和决策规则来丰富初始训练数据并改进策略初始化。
• 加速个性化mHealth干预中在线RL的收敛并提升性能。
• 证明有效的热启动在早期在线学习阶段显著优于随机热启动。

提出的方法

• 利用先前研究中的决策规则和数据来初始化在线RL模型中的策略参数。
• 采用参数化策略，其形式为：$\pi_{\theta}(a|s) = \exp[a\theta^T\phi(s)] / \{1 + \exp[\theta^T\phi(s)]\}$，其中 $\phi(s) = [1, s^T]^T$。
• 采用演员-评论家框架，使用特征 $\mathbf{x}(s,a) = [1, s^T, a, s^T a]^T \in \mathbb{R}^{2p+2}$ 进行价值函数估计。
• 在接收到第一个数据元组后立即开始在线学习，而随机热启动（RWS）则需等待 $T_0$ 个样本后才开始更新。
• 随着学习的推进，逐步增加新用户数据在目标函数中的权重。
• 使用折扣因子 $\gamma \in [0, 1)$ 来建模马尔可夫决策过程（MDP）中的延迟奖励。

实验结果

研究问题

• RQ1 利用先前研究中的历史数据和决策规则，是否能显著提升mHealth在线RL的早期性能？
• RQ2 与随机热启动相比，有效的热启动是否能减少达到高性能策略的延迟？
• RQ3 使用先前研究结果进行个性化策略初始化，是否能提升mHealth应用中的用户留存率？
• RQ4 在累积奖励随时间的变化方面，所提出的热启动方法与随机热启动相比表现如何？
• RQ5 该方法在mHealth中顺序决策的在线演员-评论家RL中，能在多大程度上加速收敛？

主要发现

• 所提出的新型热启动（NWS-RL）方法在 $T=30$ 时达到平均奖励1393.1，比表现第二好的方法（$T_0=10$ 的RWS-RL）高出67.57步。
• 在 $T=50$ 时，NWS-RL的平均奖励达到1405.0，比第二好的方法高出69.72步。
• NWS-RL在接收到第一个数据元组后立即开始学习，而RWS-RL需等待 $T_0=5$ 或 $10$ 个样本后才开始更新。
• 即使在 $\gamma=0$（上下文Bandit设置）下，NWS-RL的平均奖励（1367.6）仍高于 $T_0=10$ 的RWS-RL（1349.7）。
• 该方法在所有折扣因子 $\gamma$ 下均持续优于RWS-RL，且在中等 $\gamma$ 值时收益最大。
• 结果表明，有效的热启动显著提升了在线RL在mHealth干预中的早期性能并加速了学习过程。