[论文解读] Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning

Kai Wang, Sanket Shah+4 more|arXiv (Cornell University)|Jun 6, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

该论文通过将强化学习最优性条件——贝尔曼方程与策略梯度——嵌入预测模型训练流程，将决策聚焦学习扩展至以马尔可夫决策过程（MDP）建模的序列决策问题。通过采用无偏采样和低秩海森矩阵近似，克服了因状态/动作空间庞大及高维策略带来的计算不可行性，相较于两阶段学习方法，在未见MDP上的泛化性能更优。

ABSTRACT

In the predict-then-optimize framework, the objective is to train a predictive model, mapping from environment features to parameters of an optimization problem, which maximizes decision quality when the optimization is subsequently solved. Recent work on decision-focused learning shows that embedding the optimization problem in the training pipeline can improve decision quality and help generalize better to unseen tasks compared to relying on an intermediate loss function for evaluating prediction quality. We study the predict-then-optimize framework in the context of sequential decision problems (formulated as MDPs) that are solved via reinforcement learning. In particular, we are given environment features and a set of trajectories from training MDPs, which we use to train a predictive model that generalizes to unseen test MDPs without trajectories. Two significant computational challenges arise in applying decision-focused learning to MDPs: (i) large state and action spaces make it infeasible for existing techniques to differentiate through MDP problems, and (ii) the high-dimensional policy space, as parameterized by a neural network, makes differentiating through a policy expensive. We resolve the first challenge by sampling provably unbiased derivatives to approximate and differentiate through optimality conditions, and the second challenge by using a low-rank approximation to the high-dimensional sample-based derivatives. We implement both Bellman--based and policy gradient--based decision-focused learning on three different MDP problems with missing parameters, and show that decision-focused learning performs better in generalization to unseen tasks.

研究动机与目标

• 解决在测试MDP无法获取轨迹时，从环境特征中学习MDP参数的挑战。
• 克服因状态空间和动作空间庞大而导致的MDP最优性条件可微分性计算不可行性。
• 降低在无模型强化学习中对高维神经网络策略进行反向传播的高计算成本。
• 通过直接优化决策质量而非预测准确性，提升对未见MDP的泛化能力。
• 通过深度强化学习，将决策聚焦学习从静态优化扩展至序列决策问题。

提出的方法

• 将MDP最优性条件（贝尔曼误差最小化与策略梯度最大化）表述为卡鲁什-库恩-塔克（KKT）条件，以实现可微性。
• 使用无偏采样近似KKT条件的一阶与二阶导数，实现通过MDP的反向传播。
• 对基于采样的海森矩阵应用低秩近似，降低高维策略空间中的内存与计算成本。
• 实现基于贝尔曼与基于策略梯度的决策聚焦学习框架，支持端到端训练。
• 使用离线离策略评估（OPE）在无需在线轨迹 rollout 的情况下评估未见测试MDP的策略性能。
• 与两阶段方法进行比较，后者优化的是预测准确性而非最终决策质量。

实验结果

研究问题

• RQ1 决策聚焦学习能否在序列决策问题中有效扩展至参数未知的MDP？
• RQ2 当状态空间和动作空间庞大或连续时，如何实现对MDP最优性条件的可微分处理？
• RQ3 哪些计算近似方法可实现强化学习中高维神经网络策略的高效反向传播？
• RQ4 与基于预测准确性的两阶段学习相比，决策聚焦学习是否在未见MDP上泛化能力更优？
• RQ5 不同的海森矩阵近似方法（单位矩阵、Woodbury）如何影响决策聚焦强化学习中的性能与稳定性？

主要发现

• 在所有三个基准问题中，决策聚焦学习在未见测试MDP的离线离策略评估（OPE）性能上均优于两阶段方法。
• 当轨迹为随机时，基于贝尔曼的方案始终比基于策略梯度的方案泛化能力更优，原因在于其对值函数的覆盖范围更广。
• 当轨迹接近最优时，基于策略梯度的方案表现更佳，因其直接优化了最优路径上的累积奖励。
• 尽管精度较低，单位矩阵海森近似有时能带来更好的性能，原因在于其较高的方差有助于在非凸OPE目标中逃离局部最优。
• Woodbury低秩海森近似在准确性和计算成本之间提供了有利的权衡，相比完整海森矩阵计算，显著降低了运行时间和内存占用。
• 对于大策略空间（如超过100个epoch），完整海森矩阵计算不可行，而低秩近似在策略维度上呈线性扩展，使训练成为可能。