[論文レビュー] Deep Reinforcement Learning with Dynamic Optimism.

Ted Moskovitz, Jack Parker-Holder+2 more|arXiv (Cornell University)|Feb 7, 2021

Advanced Bandit Algorithms Research参考文献 35被引用数 3

ひとこと要約

本稿では、選択をマルチアームバンディット問題として扱うことで、価値推定における楽覂と悲観の動的バランスをとる、深層オフポリシーのアクタクリティック手法DOPEを提案する。オンラインで楽観度の度合いを適応的に変更することで、DOPEは、困難な連続的制御タスクにおいて固定楽観度手法を上回る優れた性能を達成し、深層強化学習における動的不確実性処理の利点を示している。

ABSTRACT

In recent years, deep off-policy actor-critic algorithms have become a dominant approach to reinforcement learning for continuous control. This comes after a series of breakthroughs to address function approximation errors, which previously led to poor performance. These insights encourage the use of pessimistic value updates. However, this discourages exploration and runs counter to theoretical support for the efficacy of optimism in the face of uncertainty. So which approach is best? In this work, we show that the optimal degree of optimism can vary both across tasks and over the course of learning. Inspired by this insight, we introduce a novel deep actor-critic algorithm, Dynamic Optimistic and Pessimistic Estimation (DOPE) to switch between optimistic and pessimistic value learning online by formulating the selection as a multi-arm bandit problem. We show in a series of challenging continuous control tasks that DOPE outperforms existing state-of-the-art methods, which rely on a fixed degree of optimism. Since our changes are simple to implement, we believe these insights can be extended to a number of off-policy algorithms.

研究の動機と目的

• 悲観的価値更新（関数近似誤差を低減）と理論的に支持される楽観的探索の間の緊張を解消すること。
• 最適な楽観度の水準がタスク間および学習過程で変化するかどうかを調査すること。
• オンラインフィードバックに基づいて、楽観的と悲観的な価値学習の間を適応的に選択する手法を開発すること。
• 連続的制御のための深層オフポリシー強化学習におけるサンプル効率と最終的性能の向上

提案手法

• 楽観度レベルの選択をマルチアームバンディット問題として定式化し、楽観的と悲観的価値更新の間で動的に選択する。
• 即時の報酬フィードバックに基づいて、楽観的と悲観的な価値推定の間を学習可能なメカニズムで切り替える。
• 既存のアルゴリズムの構造を保ちつつ、深層オフポリシーのアクタクリティックフレームワークに動的楽観度メカニズムを統合する。
• 経験リプレイバッファを用いた標準的なオフポリシーのリプレイでエージェントを訓練するが、楽観・悲観スイッチはオンラインで学習する。
• 各ステップで最も効果的な価値更新戦略を選択することで、活用と探索のバランスを取るバンディットベースの探索戦略を用いる。
• 楽観的と悲観的更新のための別個の価値推定を維持し、最終的な更新はバンディット方策に基づいて選択する。

実験結果

リサーチクエスチョン

• RQ1 最適な楽観度の度合いは、異なる連続的制御タスクで異なるか？
• RQ2 楽観度のオンライン適応は、固定楽観度または悲観度と比較して学習性能を向上させられるか？
• RQ3 学習中に楽観的と悲観的価値更新の間を動的に切り替えることで利点が得られるか？
• RQ4 単純でモジュラーなメカニズムを設計し、既存のオフポリシー深層強化学習アルゴリズムに動的楽観度を統合できるか？

主な発見

• DOPEは、さまざまな挑戦的な連続的制御環境において、固定楽観度を用いる最先端のオフポリシー手法を上回る性能を達成した。
• 楽観度の動的適応により、静的楽観度や悲観度と比較して、より速い学習と高い最終的性能が得られた。
• 適応的不確実性処理を通じて、探索と活用のバランスを効果的にとることで、優れたサンプル効率を達成した。
• 提案されたメカニズムは実装が簡単であり、他のオフポリシー深層強化学習アルゴリズムへの容易な拡張が可能である。