[论文解读] Continuous Inverse Optimal Control with Locally Optimal Examples

Sergey Levine, Vladlen Koltun|arXiv (Cornell University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 12被引用 167

一句话总结

本文提出了一种基于概率的逆最优控制方法，能够从连续、高维马尔可夫决策过程中的局部最优示范中学习奖励函数。通过利用局部奖励近似，该方法放松了先前方法对严格全局最优性的假设，从而能够在不完整专家数据下实现稳健学习，同时在无需完整策略计算的情况下高效扩展至大规模领域。

ABSTRACT

Inverse optimal control, also known as inverse reinforcement learning, is the problem of recovering an unknown reward function in a Markov decision process from expert demonstrations of the optimal policy. We introduce a probabilistic inverse optimal control algorithm that scales gracefully with task dimensionality, and is suitable for large, continuous domains where even computing a full policy is impractical. By using a local approximation of the reward function, our method can also drop the assumption that the demonstrations are globally optimal, requiring only local optimality. This allows it to learn from examples that are unsuitable for prior methods.

研究动机与目标

• 解决现有逆最优控制方法依赖全局最优专家示范的局限性。
• 实现在全策略计算不可行的高维连续状态与动作空间中的逆强化学习。
• 开发一种可扩展的概率框架，从局部最优示例中学习奖励函数。
• 放松对专家示范全局最优性的假设，使方法适用于现实世界中的不完美专家数据。

提出的方法

• 该方法采用基于核的回归方法，对奖励函数进行局部近似，将奖励建模为状态-动作对的函数。
• 将逆最优控制问题表述为奖励函数上的概率推理问题，对奖励使用高斯过程先验。
• 采用变分推理方法，近似在局部最优示范下奖励函数的后验分布。
• 通过软最大策略模型处理不确定性，计算基于推断奖励所导出策略下示范的似然性。
• 通过假设每个示范在其状态-动作轨迹的局部邻域内是最优的，整合局部最优性约束。
• 通过避免显式策略枚举并依赖局部奖励建模，实现对高维领域可扩展的处理。

实验结果

研究问题

• RQ1 逆最优控制能否有效应用于全策略计算不可行的连续高维领域？
• RQ2 如何使逆强化学习对局部最优但全局次优的专家示范具有鲁棒性？
• RQ3 放松全局最优性假设对奖励恢复的准确性与稳定性有何影响？
• RQ4 局部奖励近似能否实现复杂环境中可扩展且高效的逆学习？
• RQ5 所提出的概率框架在样本效率和对示范质量的鲁棒性方面，相较于现有方法表现如何？

主要发现

• 该方法能从局部最优示范中成功学习到准确的奖励函数，即使这些示范在全局意义上并非最优。
• 在存在不完美专家数据的环境中，该方法相较于基线方法表现出显著的性能提升，显示出对示范噪声的鲁棒性。
• 该算法在高维连续领域中表现出有效的可扩展性，避免了完整策略枚举的计算不可行性。
• 使用局部奖励近似相比全局奖励建模方法，实现了更好的泛化能力和更稳定的训练过程。
• 在连续控制任务上的实证结果表明，该方法收敛更快且样本效率高于先前的逆强化学习方法。
• 概率化表述支持奖励估计中的不确定性量化，提升了低数据场景下的可靠性。