[论文解读] Autonomous exploration for navigating in non-stationary CMPs

Pratik Gajane, Ronald Ortner+2 more|arXiv (Cornell University)|Oct 18, 2019

Reinforcement Learning in Robotics参考文献 23被引用 6

一句话总结

本文提出了一种元算法 MNM，用于非平稳受控马尔可夫过程（CMPs）中的自主探索，其中转移概率可能突然变化。通过结合假设构建与变化检测阶段，MNM 确保探索步数（即代理缺乏足够知识的步数）以高概率随环境变化次数 F 呈 O(F²) 的增长。

ABSTRACT

We consider a setting in which the objective is to learn to navigate in a controlled Markov process (CMP) where transition probabilities may abruptly change. For this setting, we propose a performance measure called exploration steps which counts the time steps at which the learner lacks sufficient knowledge to navigate its environment efficiently. We devise a learning meta-algorithm, MNM and prove an upper bound on the exploration steps in terms of the number of changes.

研究动机与目标

• 解决在转移概率突然且不可预测变化的非平稳环境中实现自主导航的挑战。
• 定义一种新型性能度量——探索步数，用于量化代理缺乏足够知识以高效导航的时间步数。
• 设计一种元算法 MNM，可整合任何用于平稳 CMP 的基础算法，并适应环境变化。
• 为非平稳性下的探索效率提供理论保证，特别是基于环境变化次数 F 对探索步数进行上界约束。
• 通过两阶段策略（构建假设与验证）实现对未知变化时间与转移动态的鲁棒性：即构建假设与通过周期性检查验证。

提出的方法

• 使用一种元算法 MNM，交替执行构建阶段（探索以构建关于环境的假设）与检查阶段（通过周期性检查验证假设是否因潜在变化而失效）。
• 引入 UcbExplore 作为基础算法，用于探索并估计转移概率的置信区间，确保以高概率发现逐步可达的状态。
• 应用霍夫丁不等式，对检查运行期间状态未到达的误检概率进行上界约束，从而实现可靠的异常检测。
• 利用状态上的偏序关系定义逐步可发现的状态集合 $\mathcal{S}^{\rightarrow}_L$，确保探索以结构化且可实现的方式推进。
• 实施多轮框架，每轮包含一个构建阶段与一个检查阶段，通过集中不等式控制误差概率。
• 利用 RESET 动作确保返回初始状态 $s_0$，从而在各轮中实现一致的假设验证与状态发现。

实验结果

研究问题

• RQ1 如何使代理在转移概率突然且不可预测变化的非平稳 CMP 中高效探索与导航？
• RQ2 何种性能度量最能捕捉此类动态环境中因知识不足而导致的导航成本？
• RQ3 能否设计一种元算法，在环境变化次数与时间未知的情况下仍能保持低探索步数？
• RQ4 如何将用于平稳 CMP 的基础算法适配至非平稳设置，并提供理论保证？
• RQ5 在非平稳 CMP 中发生 F 次环境变化时，探索步数的理论上限是什么？

主要发现

• 所提出的 MNM 元算法确保总探索步数以高概率被 $O(F^2)$ 上界约束，其中 F 为环境变化次数。
• 构建阶段的探索步数上界为 $\sum_{f=1}^{F} \frac{C_1 S_f A L^3}{\epsilon^3} \left(\log \frac{F^2 S_f A L}{\epsilon \delta} \right)^3$，检查阶段的上界为 $F \cdot \max_f \left[ \frac{2C_1 S_f A L^3}{\epsilon^3} \left(\log \frac{F^2 S_f A L}{\epsilon \delta} \right)^6 \right]$。
• 该算法保证以高概率发现所有在 L 步内可逐步发现的状态，即使在突发变化下亦成立。
• 使用霍夫丁不等式确保未能检测到状态或变化的概率被控制在 $\delta'$ 以内，从而实现可靠的假设验证。
• 理论分析表明，探索步数在 F、L 与状态数上均为多项式增长，因此在合理假设下具有可扩展性。
• 该框架具有通用性，可应用于任何专为平稳 CMP 设计的基础算法，支持模块化集成至现有探索流程中。