[论文解读] Cohesion-based Online Actor-Critic Reinforcement Learning for mHealth Intervention

Feiyun Zhu, Peng Liao+3 more|arXiv (Cornell University)|Mar 25, 2017

Impact of Technology on Adolescents参考文献 8被引用 4

一句话总结

本文提出了一种基于凝聚力的在线演员-评论家强化学习框架，用于移动健康（mHealth）干预，通过利用用户之间的网络凝聚力，在数据稀缺环境中提升策略学习性能。通过从预热轨迹中学习用户相似性网络，并对价值函数和策略函数施加ℓ₂约束，该方法显著降低了方差，并在多个mHealth基准测试中优于独立策略学习方法。

ABSTRACT

In the wake of the vast population of smart device users worldwide, mobile health (mHealth) technologies are hopeful to generate positive and wide influence on people's health. They are able to provide flexible, affordable and portable health guides to device users. Current online decision-making methods for mHealth assume that the users are completely heterogeneous. They share no information among users and learn a separate policy for each user. However, data for each user is very limited in size to support the separate online learning, leading to unstable policies that contain lots of variances. Besides, we find the truth that a user may be similar with some, but not all, users, and connected users tend to have similar behaviors. In this paper, we propose a network cohesion constrained (actor-critic) Reinforcement Learning (RL) method for mHealth. The goal is to explore how to share information among similar users to better convert the limited user information into sharper learned policies. To the best of our knowledge, this is the first online actor-critic RL for mHealth and first network cohesion constrained (actor-critic) RL method in all applications. The network cohesion is important to derive effective policies. We come up with a novel method to learn the network by using the warm start trajectory, which directly reflects the users' property. The optimization of our model is difficult and very different from the general supervised learning due to the indirect observation of values. As a contribution, we propose two algorithms for the proposed online RLs. Apart from mHealth, the proposed methods can be easily applied or adapted to other health-related tasks. Extensive experiment results on the HeartSteps dataset demonstrates that in a variety of parameter settings, the proposed two methods obtain obvious improvements over the state-of-the-art methods.

研究动机与目标

• 解决由于用户特定数据有限而导致的mHealth中独立策略学习不稳定的挑战。
• 通过网络凝聚力建模用户相似性，实现在行为相似用户之间的信息共享。
• 开发一种在线演员-评论家强化学习框架，直接从数据中学习凝聚力网络，而非预先假设其结构。
• 通过网络结构对价值函数和策略函数施加约束，以减少策略学习中的方差，同时避免引入过多偏差。
• 在真实世界mHealth数据上展示该方法优于当前最先进方法的优越性。

提出的方法

• 提出一种基于网络凝聚力约束的演员-评论家强化学习框架，通过共享具有相似行为的用户之间的信息。
• 利用预热轨迹（WST）学习用户网络结构，避免依赖预定义的社会网络。
• 通过图拉普拉斯矩阵实施ℓ₂正则化，对价值函数进行投影操作，以强化凝聚力。
• 对策略函数应用固定点更新，并施加凝聚力约束，使用参数化的ℓ₂惩罚项。
• 提出两种算法：Cohesion-RL#1 和 Cohesion-RL#2，二者在价值和策略更新过程中ℓ₂约束的应用方式上有所不同。
• 通过迭代更新优化模型，联合优化价值函数、策略和凝聚力网络，利用间接奖励信号。

实验结果

研究问题

• RQ1 在数据稀缺的mHealth环境中，相似用户之间的信息共享是否能提升策略学习性能？
• RQ2 如何直接从用户行为数据中学习用户网络，而非依赖外部社交网络假设？
• RQ3 不同凝聚力约束强度对策略性能和稳定性有何影响？
• RQ4 预热轨迹长度如何影响凝聚力网络的学习效果及整体策略质量？
• RQ5 基于凝聚力的强化学习是否能在在线mHealth干预任务中优于独立策略学习？

主要发现

• 无论参数设置如何，Cohesion-RL#2 均持续优于 Cohesion-RL#1 和 Separate-RL，展现出更优的稳定性和性能。
• 当预热轨迹长度较短（T₀ = 5）时，Cohesion-RL方法将平均步数从261.67降低至52.09，充分体现了网络凝聚力的显著优势。
• 将T₀从5增加到20，使Separate-RL的性能提升210.51步，凸显了初始数据质量的关键作用。
• 即使在数据有限的情况下，该方法仍能实现显著的性能提升，证明其在用户数据稀疏的真实mHealth场景中具有有效性。
• 当μ₁ ∈ [0.001, 10]时，网络凝聚力约束优于基线方法，且μ₁ = 1.0时取得最优结果。
• 所提方法对参数变化具有鲁棒性，在不同折扣因子（γ）下均保持高性能。