[論文レビュー] Tactical Optimism and Pessimism for Deep Reinforcement Learning

Ted Moskovitz, Jack Parker-Holder+3 more|arXiv (Cornell University)|Feb 7, 2021

Reinforcement Learning in Robotics参考文献 59被引用数 11

ひとこと要約

この論文は、選択をマルチアームバンディット問題としてモデル化することで、訓練中に楽観的と懐疑的な価値推定の間を動的に切り替える、新しい深層アクタクリティックフレームワークであるTactical Optimism and Pessimism（TOP）を導入する。TOPは、固定された楽観的戦略よりも優れており、リアルタイムの不確実性推定に基づいて探索と活用を適応的にバランスさせるため、挑戦的なピクセルベースの連続的制御タスクで新たな最先端の性能を達成する。

ABSTRACT

In recent years, deep off-policy actor-critic algorithms have become a dominant approach to reinforcement learning for continuous control. One of the primary drivers of this improved performance is the use of pessimistic value updates to address function approximation errors, which previously led to disappointing performance. However, a direct consequence of pessimism is reduced exploration, running counter to theoretical support for the efficacy of optimism in the face of uncertainty. So which approach is best? In this work, we show that the most effective degree of optimism can vary both across tasks and over the course of learning. Inspired by this insight, we introduce a novel deep actor-critic framework, Tactical Optimistic and Pessimistic (TOP) estimation, which switches between optimistic and pessimistic value learning online. This is achieved by formulating the selection as a multi-arm bandit problem. We show in a series of continuous control tasks that TOP outperforms existing methods which rely on a fixed degree of optimism, setting a new state of the art in challenging pixel-based environments. Since our changes are simple to implement, we believe these insights can easily be incorporated into a multitude of off-policy algorithms.

研究の動機と目的

• 深層強化学習における楽観的と懐疑的戦略の間の葛藤に取り組み、固定された戦略では多様な環境において性能が制限されることを解消すること。
• 最適な楽観的度合いがタスク間および訓練の過程で変化するかどうかを調査し、一様なアプローチの仮定に疑問を呈すること。
• ハイパーパramータの広範なチューニングを必要とせず、オンラインで価値推定戦略を適応的に変更できる実用的で即挿入可能な手法を開発すること。
• アレアトリックおよびエピステミックな不確実性に基づいた適応的楽観的／懐疑的戦略が、より優れたサンプル効率性と最終的な性能をもたらすことを示すこと。

提案手法

• TOPは、楽観的度合いの選択をマルチアームバンディット問題として定式化し、各アームが異なる楽観的ハイパーパramータβの値に対応する。
• 環境のリターンにおけるアレアトリック不確実性をモデル化するために、分位数表現を用いた分布型クライアントを用いる。
• エピステミック不確実性は、価値関数の分散を強固に推定できるクライアントのアンサンブルによって捉える。
• バンディットアルゴリズムは、各楽観的度合いからのパフォーマンスフィードバックに基づき、オンラインでβを選択し、推定戦略の探索と活用をバランスさせる。
• 既存のオフポリシー手法への統合が容易になるように設計されており、コード変更はわずかに抑える。
• TOPは、標準的なベンチマークとベースラインを用いて、状態ベースおよびピクセルベースの連続的制御タスクの両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 価値関数近似における最適な楽観的度合いは、異なる強化学習環境で変化するか？
• RQ2 与えられた環境において、最適な楽観的度合いは訓練の過程で変化するか？
• RQ3 楽観的と懐疑的戦略を動的に切り替える戦略は、固定楽観的または固定懐疑的ベースラインを上回る性能を達成できるか？
• RQ4 アレアトリックおよびエピステミックな不確実性は、価値推定における楽観的戦略の有効性にどのように影響するか？

主な発見

• TOPは、DeepMind Control Suiteの6つのタスクすべてにおいて、RAD、DrQ、PI-SAC、CURLといった最先端の手法を上回り、ピクセルベースのベンチマークで新たな最先端の性能を達成した。
• HalfCheetah環境では、固定楽観的ベースラインと同等の性能を達成しており、有益な場合により楽観的な戦略を自発的に採用していることを示している。
• Hopper環境では、固定懐疑的ベースラインと同等の性能を達成しており、必要に応じてより慎重な戦略に適応していることを示している。
• Ant環境では、訓練の中盤ごろに懐疑的から楽観的へと動的にシフトしており、変化する不確実性に非単調に適応していることを示している。
• バンディットに基づくβ選択は、事後に最良の固定β選択に匹敵するか、それ以上のパフォーマンスをもたらし、適応的戦略の有効性を裏付けた。
• TOPは、RADのような既存のアルゴリズムに数行のコード追加のみで実装可能であり、最小限の変更で高い性能向上を達成しており、広範な応用が可能である。