[论文解读] Improved Sample Complexity for Incremental Autonomous Exploration in MDPs

Jean Tarbouriech, Matteo Pirotta+2 more|arXiv (Cornell University)|Dec 29, 2020

Machine Learning and Algorithms被引用 9

一句话总结

该论文提出DisCo，一种新颖的基于模型的算法，用于在无奖励函数的马尔可夫决策过程（MDPs）中进行增量自主探索。通过交错执行状态发现与模型精炼，DisCo实现了改进的样本复杂度$ widetilde{O}(L^5 S_{L+ε} \Gamma_{L+ε} A \varepsilon^{-2})$，在$L$和$\varepsilon$方面均优于先前工作，同时确保了针对成本敏感最短路径问题的$\varepsilon/c_{ \min}$-最优策略。

ABSTRACT

We investigate the exploration of an unknown environment when no reward function is provided. Building on the incremental exploration setting introduced by Lim and Auer [1], we define the objective of learning the set of $ε$-optimal goal-conditioned policies attaining all states that are incrementally reachable within $L$ steps (in expectation) from a reference state $s_0$. In this paper, we introduce a novel model-based approach that interleaves discovering new states from $s_0$ and improving the accuracy of a model estimate that is used to compute goal-conditioned policies to reach newly discovered states. The resulting algorithm, DisCo, achieves a sample complexity scaling as $ ilde{O}(L^5 S_{L+ε} Γ_{L+ε} A ε^{-2})$, where $A$ is the number of actions, $S_{L+ε}$ is the number of states that are incrementally reachable from $s_0$ in $L+ε$ steps, and $Γ_{L+ε}$ is the branching factor of the dynamics over such states. This improves over the algorithm proposed in [1] in both $ε$ and $L$ at the cost of an extra $Γ_{L+ε}$ factor, which is small in most environments of interest. Furthermore, DisCo is the first algorithm that can return an $ε/c_{\min}$-optimal policy for any cost-sensitive shortest-path problem defined on the $L$-reachable states with minimum cost $c_{\min}$. Finally, we report preliminary empirical results confirming our theoretical findings.

研究动机与目标

• 为解决在无奖励信号的未知MDP中实现自主探索的挑战，重点在于发现从参考状态$s_0$出发在$L$步内可达的所有状态。
• 通过要求对所有$L$-可控制状态实现$\varepsilon$-最优的目标条件策略，而非仅满足$L+\varepsilon$步可达性，从而强化探索目标。
• 设计一种基于模型的算法，高效平衡探索与模型精度，以降低样本复杂度。
• 在确保成本敏感最短路径问题在$L$-可达状态上的最优性的同时，提供样本复杂度的理论保证。

提出的方法

• DisCo采用基于模型的方法，交替执行新状态的发现与转移模型估计的精度提升。
• 利用当前模型估计计算目标条件策略，以引导探索向未访问状态推进。
• 算法基于状态-动作对的访问次数，采用置信区间以确保模型估计的鲁棒性。
• 引入一种新颖的整合步骤以精炼策略，确保在$L$-可达状态上实现$\varepsilon/c_{\min}$-最优性，适用于最短路径问题。
• 采用分层探索策略，优先探索较易到达的状态，随后逐步处理更远距离的状态。
• 引入一种与状态-动作相关的置信边界$\widehat{\Theta}(s,a,\mathcal{K}_k)$，以在模型学习过程中平衡探索与利用。

实验结果

研究问题

• RQ1 我们能否设计一种算法，在MDP的增量探索中实现优于UcbExplore的样本复杂度？
• RQ2 我们能否确保对所有$L$-可控制状态实现$\varepsilon$-最优策略，而非仅满足$L+\varepsilon$步可达性？
• RQ3 该算法能否保证在$L$-可达状态集上，对成本敏感最短路径问题实现$\varepsilon/c_{\min}$-最优解？
• RQ4 将模型精炼与状态发现交错执行，是否能在实践中提升样本效率？

主要发现

• DisCo实现了$\widetilde{O}(L^5 S_{L+\varepsilon} \Gamma_{L+\varepsilon} A \varepsilon^{-2})$的样本复杂度，在$L$和$\varepsilon$方面均优于UcbExplore，代价是额外引入了$\Gamma_{L+\varepsilon}$因子。
• 该算法对定义在$L$-可达状态集上的任意成本敏感最短路径问题，返回$\varepsilon/c_{\min}$-最优策略，这是此前尚未有过的理论保证。
• 在混淆链与组合锁领域中的实证结果表明，DisCo在样本效率上优于UcbExplore，样本数分别为30,117（2,087）与90,232（2,592），对应$\varepsilon=0.2$，$L=2.7$。
• 在混淆链领域中，DisCo在所有$\varepsilon$值下均能稳定恢复最优目标导向策略，而UcbExplore仅在$\varepsilon=0.1$和$0.2$时实现此目标。
• 在两个领域中，DisCo在所有时间步上发现的增量$L$-可控制状态比例均超过UcbExplore，证实了其更快的收敛速度。