[论文解读] Adaptive Ensemble Q-learning: Minimizing Estimation Bias via Error Feedback

Hang Wang, Sen Lin+1 more|arXiv (Cornell University)|Jun 20, 2023

Image and Signal Denoising Methods被引用 6

一句话总结

本文提出自适应集成Q-learning（AdaEQ），一种新颖方法，通过误差反馈动态调整Q-learning中的集成规模，以最小化由时变函数近似误差引起的估计偏差。通过将问题建模为受模型辨识自适应控制（MIAC）启发的自适应控制系统，AdaEQ利用实时近似误差反馈，将偏差保持在接近零的水平，显著提升了在MuJoCo连续控制基准测试中的样本效率和性能，优于当前最先进方法如REDQ和Average-DQN。

ABSTRACT

The ensemble method is a promising way to mitigate the overestimation issue in Q-learning, where multiple function approximators are used to estimate the action values. It is known that the estimation bias hinges heavily on the ensemble size (i.e., the number of Q-function approximators used in the target), and that determining the `right' ensemble size is highly nontrivial, because of the time-varying nature of the function approximation errors during the learning process. To tackle this challenge, we first derive an upper bound and a lower bound on the estimation bias, based on which the ensemble size is adapted to drive the bias to be nearly zero, thereby coping with the impact of the time-varying approximation errors accordingly. Motivated by the theoretic findings, we advocate that the ensemble method can be combined with Model Identification Adaptive Control (MIAC) for effective ensemble size adaptation. Specifically, we devise Adaptive Ensemble Q-learning (AdaEQ), a generalized ensemble method with two key steps: (a) approximation error characterization which serves as the feedback for flexibly controlling the ensemble size, and (b) ensemble size adaptation tailored towards minimizing the estimation bias. Extensive experiments are carried out to show that AdaEQ can improve the learning performance than the existing methods for the MuJoCo benchmark.

研究动机与目标

• 解决由时变函数近似误差引起的深度Q-learning中持续存在的高估与低估偏差问题。
• 开发一种在训练过程中自适应选择最优集成规模的方法，而非使用固定规模。
• 通过将近似误差视为反馈，实现动态集成规模控制，以最小化估计偏差。
• 构建一个广义的集成框架，可将现有方法如Maxmin和REDQ作为特例包含在内。
• 提升连续控制强化学习基准测试中的学习稳定性和性能。

提出的方法

• 推导估计偏差的理论上下界，以指导自适应集成规模的选择。
• 引入一种反馈机制，利用当前近似误差（通过蒙特卡洛回报比较计算）作为集成规模自适应的输入。
• 应用模型辨识自适应控制（MIAC）框架，基于实时误差反馈动态调整集成规模。
• 引入一个“容差”超参数，以在学习过程中平衡偏差向高估或低估的倾向。
• 采用随机逼近框架，确保以概率1收敛至最优Q函数。
• 通过其基于反馈的自适应机制，支持与标准Q-learning及演员-评论家方法的集成。

实验结果

研究问题

• RQ1 能否通过根据时变近似误差动态调整集成规模，来最小化Q-learning中的估计偏差？
• RQ2 在训练过程中，集成规模、近似误差与估计偏差之间的关系如何演变？
• RQ3 基于反馈的自适应控制机制能否在深度Q-learning中有效将估计偏差保持在接近零的水平？
• RQ4 与固定规模集成方法相比，自适应集成规模选择是否能提升学习性能与稳定性？
• RQ5 所提方法是否能泛化至并优于多种MuJoCo环境中的现有集成方法（如REDQ和Average-DQN）？

主要发现

• AdaEQ在所有MuJoCo环境中均实现了高于REDQ和Average-DQN的平均回报，其中在Hopper-v2上提升达8.2%，在Walker2d上提升达4.5%。
• 通过实时动态调整集成规模，方法成功将估计偏差保持在接近零的水平，理论边界与实证误差追踪结果均予以验证。
• 训练时间开销极低，AdaEQ平均仅需REDQ 1.06倍的时间，即使每10个周期执行一次自适应更新也无明显延迟。
• AdaEQ对初始集成规模具有鲁棒性，在不同M值初始设置下均表现出一致的性能提升。
• 自适应机制有效降低了高估与低估偏差，而这两类偏差正是固定规模集成方法的固有问题。
• 实证结果表明，近似误差的时变特性对偏差有显著影响，从而证明了动态自适应的必要性。