[论文解读] Iterative Hierarchical Optimization for Misspecified Problems (IHOMP)

Daniel J. Mankowitz, Timothy Mann+1 more|arXiv (Cornell University)|Feb 10, 2016

Reinforcement Learning in Robotics参考文献 23被引用 11

一句话总结

本文提出迭代分层优化方法（IHOMP），用于解决因状态表征不佳而导致标准函数逼近失效的误设强化学习问题。该方法通过迭代学习上下文特化的选项，并利用跨选项策略进行组合，实现对复杂任务的求解。IHOMP 提供理论收敛保证，并进一步扩展为 IHOMP-ROI，联合学习选项与改进状态空间划分，实现有效的选项复用，在 Pinball 和 Two Rooms 等误设任务上显著优于平面策略。

ABSTRACT

For complex, high-dimensional Markov Decision Processes (MDPs), it may be necessary to represent the policy with function approximation. A problem is misspecified whenever, the representation cannot express any policy with acceptable performance. We introduce IHOMP : an approach for solving misspecified problems. IHOMP iteratively learns a set of context specialized options and combines these options to solve an otherwise misspecified problem. Our main contribution is proving that IHOMP enjoys theoretical convergence guarantees. In addition, we extend IHOMP to exploit Option Interruption (OI) enabling it to decide where the learned options can be reused. Our experiments demonstrate that IHOMP can find near-optimal solutions to otherwise misspecified problems and that OI can further improve the solutions.

研究动机与目标

• 解决因状态表征不足导致标准函数逼近无法表达高性能策略的强化学习问题。
• 开发一种分层强化学习方法，通过在分层状态子区域上学习专用选项来缓解误设问题，提升策略泛化能力。
• 为连续状态空间中在误设条件下迭代学习选项提供理论收敛保证。
• 将框架扩展至通过选项中断（Option Interruption）自动改进状态空间划分，实现最优选项复用区域的发现。
• 证明该方法可在平面策略表示失效的复杂高维领域中找到近似最优解。

提出的方法

• IHOMP 使用分层状态空间，对每个分区类别使用黑箱强化学习算法训练一个选项，选项初始值任意，并通过迭代方式更新。
• 每个选项在其所属分区内最大化累积奖励，奖励信号通过跨选项策略在分区间反向传播。
• 跨选项策略将各专用选项的输出组合以生成动作，实现在状态子区域间的协调行为。
• 该算法通过迭代方式优化选项策略，使低奖励区域的选项可从高性能选项中受益于奖励传播。
• IHOMP-ROI 集成正则化选项中断，联合学习最优选项策略与状态空间划分，发现可复用选项的区域。
• 该方法支持任意划分方案，并兼容线性与非线性函数逼近器，包括深度 Q 网络。

实验结果

研究问题

• RQ1 在分层框架中，通过迭代学习上下文特化的选项，能否解决因状态表征受限而导致的强化学习误设问题？
• RQ2 所提出的 IHOMP 算法是否能为连续状态空间中的误设马尔可夫决策过程提供理论收敛保证？
• RQ3 选项中断能否有效用于改进状态空间划分，并在分层强化学习中实现智能的选项复用？
• RQ4 在 Pinball 和 Two Rooms 等真实世界误设环境中，IHOMP 与平面策略方法相比表现如何？
• RQ5 IHOMP-ROI 在缺乏状态空间结构先验知识的情况下，能在多大程度上发现最优划分与复用区域？

主要发现

• IHOMP 在 S 型区域和 Two Rooms 环境等误设问题中成功找到近似最优解，而平面策略则完全失效。
• 在 Pinball 世界任务中，IHOMP 使用 4×3×1×1 划分结构，性能优于平面策略，得益于目标邻近的选项初始化，仅经过一次迭代即实现稳定平均奖励。
• 在 Two Rooms 领域中，IHOMP-ROI 学习到非平凡且最优的划分结构，使智能体能够在政策表示受限的情况下实现跨房间导航。
• IHOMP-ROI 学习到的划分结构包含反直觉的选项复用——在区域 B 执行红色选项，证明了算法发现有效复用模式的能力。
• IHOMP 与平面策略之间的性能差距显著，IHOMP-ROI 实现了更高的平均奖励，并解决了原本不可行的任务。
• 划分成本对设计敏感，较粗划分（如 3×3）在 Puddle World 中优于更细划分（如 4×4），凸显了划分质量的重要性。