[论文解读] Inverse Reinforcement Learning in Large State Spaces via Function Approximation

Kun Li, Joel W. Burdick|arXiv (Cornell University)|Jul 28, 2017

Reinforcement Learning in Robotics参考文献 19被引用 4

一句话总结

该论文提出了一种在大规模状态空间中进行逆强化学习函数逼近的方法，通过直接施加贝尔曼最优方程，绕过了计算成本高昂的强化学习步骤，实现了与动作集大小呈线性的时间复杂度。该方法在准确性和可扩展性方面优于现有方法，并成功应用于脊髓损伤患者在刺激下的高维临床运动数据。

ABSTRACT

This paper introduces a new method for inverse reinforcement learning in large-scale and high-dimensional state spaces. To avoid solving the computationally expensive reinforcement learning problems in reward learning, we propose a function approximation method to ensure that the Bellman Optimality Equation always holds, and then estimate a function to maximize the likelihood of the observed motion. The time complexity of the proposed method is linearly proportional to the cardinality of the action set, thus it can handle large state spaces efficiently. We test the proposed method in a simulated environment, and show that it is more accurate than existing methods and significantly better in scalability. We also show that the proposed method can extend many existing methods to high-dimensional state spaces. We then apply the method to evaluating the effect of rehabilitative stimulations on patients with spinal cord injuries based on the observed patient motions.

研究动机与目标

• 解决现有逆强化学习（IRL）方法在大规模或高维状态空间中的可扩展性限制。
• 开发一种函数逼近框架，避免在每次IRL迭代中求解强化学习问题，从而降低计算成本。
• 在高维环境中，从观测到的运动轨迹中实现准确的奖励函数估计，例如患者在接受脊柱刺激时的运动。
• 通过利用所提出的函数逼近方法，将现有IRL方法扩展至高维状态空间。
• 利用从真实临床数据中学习到的奖励函数，评估康复性刺激对患者运动偏好的影响。

提出的方法

• 该方法通过函数逼近直接施加贝尔曼最优方程，确保一致性，无需迭代值迭代。
• 使用包含三个隐藏层（[100, 50, 25]个神经元）的神经网络，从状态-动作特征（位置和速度方向）近似奖励函数。
• 通过观测轨迹的似然最大化来学习奖励函数，优化过程在10,000次迭代内完成，学习率为0.00001。
• 该框架假设已知转移模型，允许直接从奖励映射到最优值函数，而无需求解贝尔曼备份。
• 该方法应用于患者离散化的COP轨迹，每个状态代表一个100×100的网格位置和速度向量。
• 采用最大似然目标来估计最能解释在无刺激和有刺激条件下观测到的运动序列的奖励函数。

实验结果

研究问题

• RQ1 是否可以在不求解每次迭代中计算成本高昂的强化学习问题的前提下，将逆强化学习扩展到大规模状态空间？
• RQ2 在高维状态空间中，函数逼近方法从观测到的运动轨迹中恢复真实奖励函数的准确性如何？
• RQ3 经皮脊柱刺激在多大程度上改变了患者的运动偏好，这一结论是否能从学习到的奖励函数中推断出来？
• RQ4 所提出的方法能否将现有IRL算法扩展到高维临床运动数据（如患者COP轨迹）？
• RQ5 在模拟和真实世界运动数据上，该方法与先前的IRL方法相比，在准确性和可扩展性方面表现如何？

主要发现

• 所提出的方法在准确性上显著优于现有IRL方法，患者1在刺激下向后运动时，恢复奖励与理想奖励之间的相关系数达到-0.999993。
• 对于患者6，在刺激下向右上方向运动时，该方法恢复的奖励相关系数为0.740827，表明与临床医生指导的运动偏好高度一致。
• 该方法将训练时间从数周（对于GP或核方法）缩短至每次运行约一分钟，实现了在临床数据上的实际部署。
• 该框架成功将IRL扩展至高维状态空间，处理了包含80,000个状态的MDP，动作数为8，空间离散化为100×100。
• 结果表明，刺激对患者运动偏好的影响因方向而异——在某些方向上改善了表现（如患者3的右上方向），而在其他方向上则造成损害（如患者1的向后方向）。
• 该方法在六名患者中表现出鲁棒性，无论在无刺激还是有刺激条件下，均能一致地恢复奖励函数。