[论文解读] Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare

Shengpu Tang, Maggie Makar+3 more|arXiv (Cornell University)|May 2, 2023

Health Systems, Economic Evaluations, Quality of Life被引用 4

一句话总结

本文通过利用动作空间的因子分解——即动作由独立的子动作组成——提出了一种用于医疗领域离线强化学习的线性Q函数分解方法，从而在低数据场景下提升了样本效率并改善了泛化能力。该方法通过减少偏差和方差，在合成数据集和真实世界的脓毒症治疗数据集上均实现了更优的策略性能，尤其在探索不足的动作组合上表现更佳。

ABSTRACT

Many reinforcement learning (RL) applications have combinatorial action spaces, where each action is a composition of sub-actions. A standard RL approach ignores this inherent factorization structure, resulting in a potential failure to make meaningful inferences about rarely observed sub-action combinations; this is particularly problematic for offline settings, where data may be limited. In this work, we propose a form of linear Q-function decomposition induced by factored action spaces. We study the theoretical properties of our approach, identifying scenarios where it is guaranteed to lead to zero bias when used to approximate the Q-function. Outside the regimes with theoretical guarantees, we show that our approach can still be useful because it leads to better sample efficiency without necessarily sacrificing policy optimality, allowing us to achieve a better bias-variance trade-off. Across several offline RL problems using simulators and real-world datasets motivated by healthcare, we demonstrate that incorporating factored action spaces into value-based RL can result in better-performing policies. Our approach can help an agent make more accurate inferences within underexplored regions of the state-action space when applying RL to observational datasets.

研究动机与目标

• 为解决离线强化学习中组合动作空间的挑战，标准方法在罕见子动作组合上难以泛化。
• 开发一种线性Q函数分解方法，利用动作空间的内在因子化结构以改进值函数逼近。
• 证明该方法即使在无偏估计的理论假设仅部分满足的情况下，仍能提升样本效率和策略性能。
• 在模拟脓毒症治疗环境和真实世界MIMIC-III临床数据上验证该方法，表明其在低数据设置下具有更强的鲁棒性。

提出的方法

• 该方法将Q函数分解为子动作Q值的线性组合，将Qπ(s,a)参数化为每个子动作空间上独立Q函数的和。
• 采用因子分解动作空间A = A₁ × ⋯ × A_D，其中每个动作a是子动作ad ∈ Ad的向量，从而实现模块化的值函数学习。
• 使用具有D × |Ad|个输出头的神经网络来近似Q函数，每个子动作对应一个输出头，而非所有组合的2^D个输出头，从而降低模型复杂度。
• 该方法结合了关于动作独立性和协同作用的领域知识，使模型能更好地泛化到罕见或未观测到的子动作组合。
• 与现有离线强化学习算法（如BCQ）兼容，可在不进行架构大规模重构的情况下集成到现有流程中。
• 训练过程中引入值裁剪和早停策略，以稳定学习并确保函数逼近的有界性。

实验结果

研究问题

• RQ1 在线性Q函数分解中，在因子分解动作空间下，于何种条件下可获得对真实Q函数的无偏估计？
• RQ2 当数据有限且动作组合探索不足时，该方法如何提升离线强化学习中的样本效率？
• RQ3 即使分解存在偏差，线性分解是否仍能生成最优策略，特别是在子动作表现出增强效应时？
• RQ4 在真实世界临床数据集上，当治疗组合稀疏时，该方法与非因子化基线相比在策略性能上表现如何？
• RQ5 在离线医疗强化学习中，引入关于动作结构的领域知识在多大程度上能提升策略的泛化能力？

主要发现

• 在模拟脓毒症和真实MIMIC-III数据集上，该方法均优于非因子化基线，尤其在低数据场景下表现更优，验证帕累托前沿上的第95百分位WIS得分为98.5。
• 在MIMIC-III脓毒症数据集上，该方法的测试WIS值达到96.2，显著优于基线（92.1），同时保持了相近的有效样本量（ESS）。
• 该方法在罕见治疗组合上的泛化能力得到提升，学习到的策略能更好地捕捉到代表性不足的子动作对的影响。
• 即使理论上的零偏差条件被违反（例如奖励非可加性），该方法仍能降低方差并提升样本效率。
• 通过设置ESS阈值≥200进行模型选择，结果表明该方法在所有阈值下均持续获得比基线更高的测试WIS值。
• 该方法实现了更优的偏差-方差权衡，值估计的方差更低，从而带来更稳定可靠的策略学习。