[论文解读] A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning

Kun Li, Joel W. Burdick|arXiv (Cornell University)|Aug 23, 2017

Reinforcement Learning in Robotics参考文献 21被引用 6

一句话总结

本文提出了一种基于模型的高维逆强化学习函数逼近方法，确保贝尔曼最优方程成立，从而在大规模或连续状态空间中实现高效学习。通过在无需昂贵强化学习迭代的情况下逼近最优值函数和奖励函数，该方法实现了与动作集大小成线性的时间复杂度，在模拟和临床手术机器人评估任务中表现出高精度。

ABSTRACT

This works handles the inverse reinforcement learning problem in high-dimensional state spaces, which relies on an efficient solution of model-based high-dimensional reinforcement learning problems. To solve the computationally expensive reinforcement learning problems, we propose a function approximation method to ensure that the Bellman Optimality Equation always holds, and then estimate a function based on the observed human actions for inverse reinforcement learning problems. The time complexity of the proposed method is linearly proportional to the cardinality of the action set, thus it can handle high-dimensional even continuous state spaces efficiently. We test the proposed method in a simulated environment to show its accuracy, and three clinical tasks to show how it can be used to evaluate a doctor's proficiency.

研究动机与目标

• 解决在高维状态空间中逆强化学习的挑战，其中传统方法在计算上变得不可行。
• 开发一种可扩展的解决方案，避免在每次奖励估计迭代中进行昂贵的强化学习步骤。
• 通过函数逼近实现奖励函数和值函数的高效学习，同时保持贝尔曼最优方程。
• 将该方法应用于真实临床任务（如手术机器人操作员评估），以评估外科医生的熟练程度。
• 通过利用基于模型的动力学和函数逼近，将逆强化学习的适用性扩展到连续和高维状态空间。

提出的方法

• 提出一种函数逼近框架，直接学习最优值函数和奖励函数，无需迭代强化学习。
• 通过将函数逼近约束在最优性条件内，确保贝尔曼最优方程始终成立。
• 使用神经网络逼近值函数和奖励函数，训练基于演示数据中观察到的人类动作。
• 保持与动作集基数成线性的时间复杂度，从而实现向高维和连续状态空间的可扩展性。
• 利用已知的转移动态（基于物理定律）避免学习转移模型，降低计算开销。
• 端到端训练模型，利用观察到的动作推断潜在奖励函数，实现在无需完整轨迹数据情况下的逆强化学习。

实验结果

研究问题

• RQ1 能否设计一种函数逼近方法，在扩展到高维状态空间的同时保持贝尔曼最优方程？
• RQ2 在高维问题上，该方法与现有逆强化学习方法相比，在准确性和计算效率方面表现如何？
• RQ3 该方法能否仅通过演示数据有效区分新手与专家的外科机器人操作员？
• RQ4 网络架构（深度和宽度）在多大程度上影响所学习值函数和奖励函数的准确性？
• RQ5 该方法能否应用于真实临床任务（如打结、穿针、缝合）并实现有意义的性能评估？

主要发现

• 所提出方法在学习值函数和奖励函数方面均表现出高精度，且随着网络容量增加，性能进一步提升。
• 增加网络宽度在强化学习和逆强化学习任务中均带来更好表现，表现为Q值估计误差降低。
• 所学习的奖励函数与真实奖励具有强相关性，且相关系数随网络宽度增加而提高，表明奖励恢复具有可靠性。
• 在临床评估中，该方法成功识别出新手与经验丰富的外科操作员之间的性能差异，经验丰富的操作员在训练周期中表现出更低的测试误差。
• 该方法展现出良好的可扩展性和效率，与动作集大小呈线性时间复杂度，适用于连续和高维状态空间。
• 在JIGSAW数据集上的结果表明，测试误差随训练周期持续降低，且经验丰富的操作员误差率低于新手，验证了其在熟练度评估中的适用性。