[論文レビュー] Adaptive Ensemble Q-learning: Minimizing Estimation Bias via Error Feedback

Hang Wang, Sen Lin+1 more|arXiv (Cornell University)|Jun 20, 2023

Image and Signal Denoising Methods被引用数 6

ひとこと要約

本稿では、時間変動する関数近似誤差に起因する推定バイアスを最小化するために、誤差フィードバックを用いてQ学習におけるアンサンブルサイズを動的に調整する、新しい手法であるAdaptive Ensemble Q-learning (AdaEQ) を提案する。問題をModel Identification Adaptive Control (MIAC) にインspiredされた適応制御システムとしてモデル化することで、AdaEQはリアルタイムの近似誤差フィードバックを用いてバイアスをほぼゼロに保ち、REDQ や Average-DQN といった最先端手法と比較して、サンプル効率とMuJoCo連続制御ベンチマークにおける性能が顕著に向上する。

ABSTRACT

The ensemble method is a promising way to mitigate the overestimation issue in Q-learning, where multiple function approximators are used to estimate the action values. It is known that the estimation bias hinges heavily on the ensemble size (i.e., the number of Q-function approximators used in the target), and that determining the `right' ensemble size is highly nontrivial, because of the time-varying nature of the function approximation errors during the learning process. To tackle this challenge, we first derive an upper bound and a lower bound on the estimation bias, based on which the ensemble size is adapted to drive the bias to be nearly zero, thereby coping with the impact of the time-varying approximation errors accordingly. Motivated by the theoretic findings, we advocate that the ensemble method can be combined with Model Identification Adaptive Control (MIAC) for effective ensemble size adaptation. Specifically, we devise Adaptive Ensemble Q-learning (AdaEQ), a generalized ensemble method with two key steps: (a) approximation error characterization which serves as the feedback for flexibly controlling the ensemble size, and (b) ensemble size adaptation tailored towards minimizing the estimation bias. Extensive experiments are carried out to show that AdaEQ can improve the learning performance than the existing methods for the MuJoCo benchmark.

研究の動機と目的

• 時間変動する関数近似誤差に起因する深層Q学習における持続的な過大評価および過小評価バイアスを解消すること。
• 固定サイズではなく、学習中に最適なアンサンブルサイズを動的に選択する手法を開発すること。
• 近似誤差をフィードバックとして扱い、動的アンサンブルサイズ制御による推定バイアスを最小化すること。
• Maxmin や REDQ といった既存手法を特別なケースとして含む一般化されたアンサンブルフレームワークを構築すること。
• 連続制御強化学習ベンチマークにおける学習の安定性と性能を向上させること。

提案手法

• 推定バイアスの理論的上限および下限を導出し、適応的アンサンブルサイズ選択の根拠とする。
• 現在の近似誤差（モンテカルロリターンの比較により算出）を入力として用いるフィードバック機構を導入し、アンサンブルサイズの適応を実現する。
• Model Identification Adaptive Control (MIAC) フレームワークを応用し、リアルタイム誤差フィードバックに基づいてアンサンブルサイズを動的に調整する。
• バイアスの過大評価または過小評価への傾向をバランスさせるために、'許容値'というハイパーパrameterを導入する。
• 確率1で最適Q関数に収束することを保証するため、確率的近似フレームワークを採用する。
• フィードバックに基づく適応メカニズムを備えるため、標準Q学習およびアクタクリティック手法の両方と統合可能である。

実験結果

リサーチクエスチョン

• RQ1 時間変動する近似誤差に応じてアンサンブルサイズを動的に適応させることで、Q学習における推定バイアスを最小化できるか？
• RQ2 学習過程において、アンサンブルサイズ、近似誤差、推定バイアスの関係はどのように変化するか？
• RQ3 フィードバックに基づく適応制御メカニズムは、深層Q学習において推定バイアスをほぼゼロに保つのに効果的か？
• RQ4 固定サイズアンサンブル手法と比較して、動的アンサンブルサイズ選択は学習性能と安定性を向上させるか？
• RQ5 提案手法は、REDQ や Average-DQN といった既存のアンサンブル手法を含め、多様なMuJoCo環境において一般化可能で、それらを上回る性能を発揮するか？

主な発見

• AdaEQは、すべてのMuJoCo環境においてREDQ や Average-DQN よりも高い平均リターンを達成しており、Hopper-v2では最大8.2%、Walker2dでは4.5%の向上を示した。
• 理論的境界と実証的誤差追跡の両方で、リアルタイムでのアンサンブルサイズ適応により推定バイアスがほぼゼロに保たれていることが確認された。
• 訓練時間のオーバーヘッドは最小限であり、平均してREDQの1.06倍の時間で実行可能であり、10エポックごとの適応更新を実施しても同様の効率を維持した。
• 初期アンサンブルサイズに依存せず、Mの初期値に関わらず一貫した性能向上が得られた。
• 適応メカニズムは、固定サイズアンサンブル手法が抱える過大評価および過小評価バイアスの両方を効果的に低減した。
• 実証的結果から、近似誤差の時間的変動性がバイアスに顕著な影響を及ぼすことが示され、動的適応の必要性が裏付けられた。