[論文レビュー] Regularized Anderson Acceleration for Off-Policy Deep Reinforcement Learning

Wenjie Shi, Shiji Song+4 more|arXiv (Cornell University)|Sep 7, 2019

Reinforcement Learning in Robotics参考文献 32被引用数 12

ひとこと要約

本稿では、関数近似誤差の低減に寄与する正則化項を備えたRegularized Anderson Acceleration (RAA) を提案し、オフポリシー深層強化学習の収束速度とサンプル効率を向上させることで、学習を加速する。RAA を正則化項を伴う方策反復に適用することで、根本的なアルゴリズムを変更せずに、Atari 2600 および MuJoCo ベンチマークで学習速度と最終的な性能が顕著に向上する。

ABSTRACT

Model-free deep reinforcement learning (RL) algorithms have been widely used for a range of complex control tasks. However, slow convergence and sample inefficiency remain challenging problems in RL, especially when handling continuous and high-dimensional state spaces. To tackle this problem, we propose a general acceleration method for model-free, off-policy deep RL algorithms by drawing the idea underlying regularized Anderson acceleration (RAA), which is an effective approach to accelerating the solving of fixed point problems with perturbations. Specifically, we first explain how policy iteration can be applied directly with Anderson acceleration. Then we extend RAA to the case of deep RL by introducing a regularization term to control the impact of perturbation induced by function approximation errors. We further propose two strategies, i.e., progressive update and adaptive restart, to enhance the performance. The effectiveness of our method is evaluated on a variety of benchmark tasks, including Atari 2600 and MuJoCo. Experimental results show that our approach substantially improves both the learning speed and final performance of state-of-the-art deep RL algorithms.

研究の動機と目的

• 高次元連続状態空間におけるモデルフリーでオフポリシーな深層強化学習の収束が遅く、サンプル効率が低いという問題に取り組む。
• 固定点反復の加速手法としてのAnderson加速を、関数近似誤差に起因する摂動を扱える形で深層強化学習に適応する。
• Dueling-DQN や TD3 などの既存の深層強化学習アルゴリズムと互換性がある、実用的で汎用性の高い加速フレームワークを開発する。
• 正則化および2つの新規戦略（段階的更新と適応的リセット）を用いて、安定性と性能を向上させる。

提案手法

• 最近の価値関数推定値から部分空間を構築し、残差を最小化する最適な線形結合を選択することで、方策反復にAnderson加速を適用する。
• 係数ベクトルのノルムを制御するためのTikhonov正則化項を導入し、関数近似誤差の影響を低減する。
• 新しい推定値を徐々に加速プロセスに組み込む段階的更新を提案し、訓練の安定性を向上させる。
• 性能の停滞が見られた際に加速履歴をリセットする適応的リセットを実装し、耐障害性を向上させる。
• Dueling-DQN や TD3 などのオフポリシー深層強化学習アルゴリズムに、最小限のアーキテクチャ変更でRAAを統合する。
• 理論的境界を用いて、正則化が係数ベクトルに対する近似誤差の影響を制限することを示す。

実験結果

リサーチクエスチョン

• RQ1 関数近似誤差やミニバッチサンプリングノイズの影響を受けるにもかかわらず、Anderson加速が深層強化学習に効果的に適用可能かどうか。
• RQ2 RAAにおける正則化が深層強化学習における近似誤差の影響をどのように制御するか。
• RQ3 段階的更新と適応的リセットが、深層強化学習におけるRAAの安定性と性能に与える影響は何か。
• RQ4 RAA が、Atari 2600 や MuJoCo といった多様な深層強化学習ベンチマークで、学習速度と最終的性能をどのように向上させるか。
• RQ5 学習率や正則化スケールといったハイパーパrameterの選択に対して、RAA はどれほど頑健か。

主な発見

• RAA は Dueling-DQN および TD3 における学習を顕著に加速し、Atari 2600 および MuJoCo の環境で収束が速く、最終的な性能も向上する。
• アブレーションスタディにより、段階的更新がすべての連続制御タスクにおいて訓練の分散を低減するために不可欠であることが確認された。
• 適応的リセットは性能をわずかに向上させ、収束の停滞期に対処する上で価値があることが示された。
• さまざまな学習率に対して頑健であり、最適でない設定でも一貫した改善が観察された。
• m（過去の推定値の数）を大きくすると性能が向上するが、m=5 を超えると増益は減少し、コストと利得のトレードオフが顕在化する。