[论文解读] Active Exploration in Markov Decision Processes

Jean Tarbouriech, Alessandro Lazaric|arXiv (Cornell University)|Feb 28, 2019

Advanced Bandit Algorithms Research被引用 22

一句话总结

本文提出了马尔可夫决策过程（MDPs）中的主动探索，其中智能体必须在噪声水平未知的情况下，战略性地导航以准确估计状态均值。通过结合弗兰克-沃尔夫UCB与一种新颖的策略改进启发式方法，所提出的FW-AME算法实现了$\widetilde{O}(t^{-1/3})$的遗憾率，表明MDPs中的主动探索比多臂赌博机复杂得多，原因在于需要受控的探索与混合策略。

ABSTRACT

We introduce the active exploration problem in Markov decision processes (MDPs). Each state of the MDP is characterized by a random value and the learner should gather samples to estimate the mean value of each state as accurately as possible. Similarly to active exploration in multi-armed bandit (MAB), states may have different levels of noise, so that the higher the noise, the more samples are needed. As the noise level is initially unknown, we need to trade off the exploration of the environment to estimate the noise and the exploitation of these estimates to compute a policy maximizing the accuracy of the mean predictions. We introduce a novel learning algorithm to solve this problem showing that active exploration in MDPs may be significantly more difficult than in MAB. We also derive a heuristic procedure to mitigate the negative effect of slowly mixing policies. Finally, we validate our findings on simple numerical simulations.

研究动机与目标

• 正式化MDPs中的主动探索问题，目标是在噪声水平未知且异质的条件下准确估计状态均值。
• 解决在受限MDP设置下，平衡噪声估计的探索与准确均值预测的利用之间的挑战。
• 开发一种学习算法，在已知MDP动态和遍历性条件下实现趋于零的遗憾。
• 通过一种启发式凸优化过程减轻慢混合策略对估计精度的负面影响。
• 通过在具有受控混合特性的合成Garnet MDP上进行数值模拟，验证理论发现。

提出的方法

• FW-AME算法通过将策略优化与主动探索相结合，将弗兰克-沃尔夫UCB扩展至MDPs，采用基于置信区间的选择机制来确定动作。
• 该算法维护对状态方差的经验估计，并利用这些估计引导探索，以针对需要更多样本的高噪声状态。
• 提出一种基于FMH-SDP（快速混合启发式-半定规划）的新颖启发式方法，用于计算更快混合的可逆策略，从而提升估计稳定性。
• 遗憾分析将误差分解为两部分：来自经验策略分布的估计误差和来自FMH-SDP松弛的近似误差。
• 该算法以分阶段运行，基于累积观测结果更新策略，并使用随时间缩小的置信区间以确保收敛。
• 理论分析表明，遗憾率与$\widetilde{O}(t^{-1/3})$成比例，这是在已知动态条件下MDPs中主动探索首次实现的此类速率。

实验结果

研究问题

• RQ1 由于需要状态转移，MDPs中的主动探索与多臂赌博机中的主动探索在根本上有什么不同？
• RQ2 当MDP动态已知且MDP为遍历性时，能否设计一种最小化遗憾的算法用于MDPs中的主动探索？
• RQ3 慢混合策略对均值估计精度有何影响，如何缓解这一影响？
• RQ4 能否使用凸优化框架计算更快混合的策略以提升估计性能？
• RQ5 在状态方差未知的MDPs中，主动探索可实现的最优遗憾率是多少？

主要发现

• FW-AME算法实现了$\widetilde{O}(t^{-1/3})$的遗憾率，这是在已知动态条件下MDPs中主动探索首次确立的此类速率。
• 遗憾分析表明，策略估计误差被限制在$O(1/\sqrt{\gamma(\widehat{\psi})\tau_k})$以内，其中$\gamma$衡量混合速度，$\tau_k$为阶段长度。
• FMH-SDP启发式方法使近似误差$\delta_{\tau_k}$降低了$O(1/\sqrt{\tau_k})$，在保持相同遗憾阶数的同时改善了混合特性。
• 在Garnet MDP上的数值模拟结果表明，该算法能够适应特定状态的噪声水平，并在估计精度上优于基线方法。
• 遗憾界$\widetilde{O}(1/t^{1/3})$中的指数$\theta = 1/3$在阶段长度$m=3$时达到最大值，表明探索与利用之间实现了最优权衡。
• 该方法对未知状态方差具有鲁棒性，因为算法会根据估计的噪声动态调整采样策略，从而在高方差状态中提升估计精度。