[論文レビュー] A Review of Uncertainty for Deep Reinforcement Learning

Owen Lockwood, Mei Si|arXiv (Cornell University)|Aug 18, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

この論文は、深層強化学習（DRL）における不確実性推定技術をレビューし、エピステミック不確実性とアレアトロピック不確実性に焦点を当てる。モンテカルロドロップアウト、アンサンブル、ブートストラップドヘッドといった手法を用いてDRLエージェントに不確実性認識を統合し、連続的制御およびオフラインRLベンチマークにおいて、性能向上とデータ効率の向上を示した。

ABSTRACT

Uncertainty is ubiquitous in games, both in the agents playing games and often in the games themselves. Working with uncertainty is therefore an important component of successful deep reinforcement learning agents. While there has been substantial effort and progress in understanding and working with uncertainty for supervised learning, the body of literature for uncertainty aware deep reinforcement learning is less developed. While many of the same problems regarding uncertainty in neural networks for supervised learning remain for reinforcement learning, there are additional sources of uncertainty due to the nature of an interactable environment. In this work, we provide an overview motivating and presenting existing techniques in uncertainty aware deep reinforcement learning. These works show empirical benefits on a variety of reinforcement learning tasks. This work serves to help to centralize the disparate results and promote future research in this area.

研究の動機と目的

• 不確実性認識深層強化学習に関する既存研究を統合・集約すること。
• DRLにおける主な不確実性の源、特に環境ダイナミクスとモデル予測に起因するエピステミック不確実性とアレアトロピック不確実性を特定・説明すること。
• 不確実性認識手法が、さまざまなベンチマークにおいてDRLの性能、データ効率、耐性を向上させることを示すこと。
• 特に現実世界および高リスク応用分野において、不確実性推定技術の広範な採用を提唱すること。
• 不確実性推定の品質評価や標準化されたベンチマークの開発といった、未解決の課題を浮き彫りにすること。

提案手法

• DRLにおける不確実性をエピステミック（モデル不確実性）とアレアトロピック（データ/環境ノイズ）に分類し、RLの各コンponentsと関連付ける。
• モンテカルロドロップアウト、アンサンブル法、ブートストラップドヘッドといった技術をレビューし、ニューラルネットワークの予測における不確実性推定に用いる。
• SACやPPOなどのアクタクリティックアルゴリズムにおけるクリティックに不確実性推定を適用し、BIV（ベイジアン逆分散）のような不確実性認識損失関数を用いる。
• DQNやQR-DQNのような価値ベース手法にも不確実性推定を統合するが、分布的アプローチに比べて真の不確実性を捉える能力が低いと指摘する。
• クリティカルの不確実性がアクターに伝播するため、後続のポリシー性能に影響を及やすことから、クリティカルの不確実性推定がポリシー学習の信頼性にとって不可欠であることを強調する。
• 既存のDRLアルゴリズムに不確実性推定を段階的に追加可能であり、アーキテクチャ全体の再設計を必要としないことを強調する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習の文脈において、エピステミック不確実性とアレアトロピック不確実性を意味的に定義・定量化する方法は何か？
• RQ2 価値関数およびポリシーネットワークにおいて、特に効果的かつ効率的なDRLエージェントの不確実性推定技術は何か？
• RQ3 不確実性推定を統合することで、DRL環境におけるサンプル効率、探索、耐性がどのように向上するか？
• RQ4 アクターが意思決定を行うにもかかわらず、なぜクリティカルにおける不確実性推定がアクターよりも影響力が強いのか？
• RQ5 不確実性推定の品質を評価する際の主な課題は何か？今後の研究でどのように解決できるか？

主な発見

• 不確実性認識DRL手法は、困難な探索タスクや連続的制御ベンチマークで性能向上を示し、オフライン強化学習においても最先端の結果を達成した。
• ブートストラップドヘッドやモンテカルロドロップアウトといった技術は、最小限のアーキテクチャ変更で効果的な不確実性推定を可能にし、より良い探索と耐性を実現した。
• SACなどのアクタクリティカルゴリズムにおいて、クリティカルの損失関数に不確実性推定を組み込む（例：BIVを用いて）ことで、顕著な性能向上が得られた。
• 実証的に成功しているものの、標準的なDQNやQR-DQNにおける不確実性推定は真の不確実性の良い近似とはならず、価値ベース手法の限界を浮き彫りにした。
• クリティカルの不確実性がアクターに伝播するため、正確なクリティカルの不確実性推定は信頼性の高いポリシー学習に不可欠である。
• 不確実性推定の採用には強く実証的根拠がある。特に、不確実性の定量化がより安全で信頼性の高い意思決定を可能にするため、現実世界の展開において重要である。