[論文レビュー] Smooth Exploration for Robotic Reinforcement Learning

Antonin Raffin, Jens Kober+1 more|elib (German Aerospace Center)|May 12, 2020

Reinforcement Learning in Robotics参考文献 53被引用数 9

ひとこと要約

本稿では、深層強化学習における滑らかな探索手法である一般化状態依存的探索（gSDE）を提案する。gSDEは、独立した同一分布に従うガウスノイズの代わりに、定期的な間隔でサンプリングされる状態依存のノイズを採用する。制御周波数とは独立してノイズの再サンプリング頻度を設定することで、gSDEはシミュレーションから実世界への転送や追加のフィルタリングを必要とせず、実世界のロボット上で安定的かつ高性能なポリシー学習を可能にする。実証実験では腱駆動ロボット、四足歩行ロボット、RCカーの3つの異なるプラットフォームで有効性を確認した。性能は非構造的探索と同等でありながら、不規則な運動を著しく低減する。

ABSTRACT

Reinforcement learning (RL) enables robots to learn skills from interactions with the real world. In practice, the unstructured step-based exploration used in Deep RL -- often very successful in simulation -- leads to jerky motion patterns on real robots. Consequences of the resulting shaky behavior are poor exploration, or even damage to the robot. We address these issues by adapting state-dependent exploration (SDE) to current Deep RL algorithms. To enable this adaptation, we propose two extensions to the original SDE, using more general features and re-sampling the noise periodically, which leads to a new exploration method generalized state-dependent exploration (gSDE). We evaluate gSDE both in simulation, on PyBullet continuous control tasks, and directly on three different real robots: a tendon-driven elastic robot, a quadruped and an RC car. The noise sampling interval of gSDE permits to have a compromise between performance and smoothness, which allows training directly on the real robots without loss of performance. The code is available at https://github.com/DLR-RM/stable-baselines3.

研究の動機と目的

• 実世界のロボット強化学習において、非構造的ガウスノイズが引き起こす不安定性や損傷リスクを解消すること。
• 状態依存的探索（SDE）を現代の深層強化学習アルゴリズムに適応させ、滑らかさの向上と分散の低減を実現すること。
• シミュレーションから実世界への転送や外部フィルタリングを一切不要とし、実ロボット上で直接学習を可能とすること。
• 異なるノイズ再サンプリング間隔を用いることで、探索の滑らかさと学習性能のトレードオフを評価すること。
• 腱駆動ロボット、四足歩行ロボット、RCカーを含む多様な実世界ロボットプラットフォームにおいて、手法の有効性を検証すること。

提案手法

• gSDEは、同一状態に対してエピソード間で一貫した行動を生成する状態依存ノイズ関数に、独立した同一分布に従うガウスノイズを置き換える。
• ノイズベクトルの周期的再サンプリングを導入し、設定可能な間隔（例：8ステップごと）で実行することで、探索の滑らかさと制御周波数を分離する。
• 現在の状態に基づいて探索ノイズを出力するニューラルネットワークヘッドを用いて、一般化されたノイズスケジューリングを学習する。初期のlog-stdハイパーパrameterは各アルゴリズムごとに調整済み。
• SAC、TD3、A2C、PPOといった代表的な深層強化学習アルゴリズムに統合し、アルゴリズムおよび環境に応じたハイパーパrameterを最適化した。
• 探索ノイズはポリシー出力に直接適用され、元のRLアルゴリズムの構造を保ちつつ、軌道の滑らかさを向上させる。
• 滑らかさを探索メカニズムに直接埋め込むことで、外部フィルタや低レベルコントローラーを回避する。

実験結果

リサーチクエスチョン

• RQ1 現代の深層強化学習アルゴリズムに状態依存的探索を効果的に適応させることで、実ロボットにおける不規則な運動を低減できるか？
• RQ2 gSDEにおけるノイズ再サンプリング頻度は、探索の滑らかさと学習性能のトレードオフにどのように影響するか？
• RQ3 gSDEは、シミュレーションから実世界への転送や外部フィルタリングを一切不要とし、実ロボット上で安定した学習を可能にするか？
• RQ4 gSDEは非構造的ガウス探索と同等の学習性能を維持しながら、運動の滑らかさを著しく向上させられるか？
• RQ5 gSDEは、ダイナミクスや駆動制約が異なる多様な実ロボットプラットフォームでも効果を発揮するか？

主な発見

• gSDEは、シミュレーションから実世界への転送や外部フィルタリングを一切不要とし、実世界のロボット（腱駆動ロボット、四足歩行ロボット、RCカー）上で深層強化学習ポリシーの学習に成功した。
• 最終的なリターンの観点では非構造的探索と同等の性能を達成した一方で、ベースライン手法で観察された不規則でジッタリな運動パターンを完全に排除した。
• PyBullet環境では、8ステップのノイズ再サンプリング間隔が滑らかさと性能のバランスを良好に保っていた。より高い間隔では分散が低減され、安定性が向上した。
• 実際の腱駆動ロボットDavidでは、非構造的探索が不安定性とモーター摩耗のため失敗したが、gSDEにより安定的かつ成功した学習が実現した。
• gSDEは、同じ状態に対してエピソード間で一貫した摂動を生成するため、時間経過に伴い行動軌道の分散が低減された。
• SAC、TD3、A2C、PPOの4つのアルゴリズムに成功裏に統合され、最先端の深層強化学習アルゴリズムとの広範な互換性を示した。