[論文レビュー] Balance Between Efficient and Effective Learning: Dense2Sparse Reward Shaping for Robot Manipulation with Environment Uncertainty

Yongle Luo, Kun Dong+4 more|arXiv (Cornell University)|Mar 5, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 5

ひとこと要約

本論文では、高速な初期学習を可能にする密な報酬と、最終的な方策の最適化に適した疎な報酬を組み合わせる報酬形状化手法Dense2Sparseを提案する。この手法は、ロボット操作タスクにおける環境の不確実性下でも優れたサンプル効率性と頑健性を達成し、単独で用いる密な報酬や疎な報酬を上回る性能を発揮する。特にセンサノイズの影響下でも優れた性能を示し、高成功率と低分散を達成する近似オラクル性能を実現する。

ABSTRACT

Efficient and effective learning is one of the ultimate goals of the deep reinforcement learning (DRL), although the compromise has been made in most of the time, especially for the application of robot manipulations. Learning is always expensive for robot manipulation tasks and the learning effectiveness could be affected by the system uncertainty. In order to solve above challenges, in this study, we proposed a simple but powerful reward shaping method, namely Dense2Sparse. It combines the advantage of fast convergence of dense reward and the noise isolation of the sparse reward, to achieve a balance between learning efficiency and effectiveness, which makes it suitable for robot manipulation tasks. We evaluated our Dense2Sparse method with a series of ablation experiments using the state representation model with system uncertainty. The experiment results show that the Dense2Sparse method obtained higher expected reward compared with the ones using standalone dense reward or sparse reward, and it also has a superior tolerance of system uncertainty.

研究の動機と目的

• ロボット操作のための深層強化学習（DRL）における学習効率と有効性のトレードオフを解消すること。
• 不確実な環境下での疎な報酬（収束が遅い）および密な報酬（報酬ノイズに敏感）の限界を克服すること。
• 密なフィードバックによる高速な学習と、疎なフィードバックによるノイズに頑健な方策最適化を組み合わせた報酬形状化戦略を開発すること。
• カメラのずれなどのシステムの不確実性を想定した条件下で、実世界に近い状況での頑健性を実証すること。

提案手法

• モノクローラルカメラ画像からターゲットオブジェクトの位置を推定するため、ResNet34ベースの状態表現モデルを用いることで、密な報酬の計算を可能にする。
• 初期学習段階で連続的なフィードバックを用いて、部分的に最適でないが実行可能な方策に向けた指導を密な報酬で行う。
• 十分な経験が蓄積された後、密な報酬から疎な報酬への段階的切り替えを実施し、ノイズのない方策最適化を可能にする。
• オフポリシーDRLアルゴリズムとDense2Sparse戦略を統合し、標準的な学習パイプラインとの互換性を維持する。
• 成功した軌道を保存する経験リプレイバッファを活用し、疎な報酬段階でノイズの多い密な報酬からのバイアスを是正する。
• 二段階のトレーニングスケジュールを実装する：探索と高速収束を目的とした密報酬段階、その後に続く最終最適化のための疎報酬段階。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド報酬形状化戦略は、ロボット操作のためのDRLにおいて、学習効率と有効性のバランスを取ることができるか？
• RQ2 Dense2Sparseは、センサノイズやカメラのずれなどのシステムの不確実性下でも性能を発揮するか？
• RQ3 密な報酬から疎な報酬への切り替えは、単独で用いるいずれの報酬タイプよりも最終的な方策性能を向上させるか？
• RQ4 Dense2Sparseは、複雑な操作タスクにおけるノイズの多い状態および報酬信号に対して、どの程度の感受性の低さを示すか？

主な発見

• Dense2Sparse手法は、リフトタスクにおいて最終エピソード報酬が約350を達成し、単独で用いた密報酬（約260）や疎報酬（約260）を顕著に上回った。
• Dense2Sparse方策の成功確率は99％に達し、標準偏差はほぼゼロに近い水準にあり、オラクル方策と同等の性能を示した。一方、単独で用いた密報酬・疎報酬手法の成功確率はそれぞれ65％および60％であった。
• カメラアライメントのずれなどのシステムの不確実性が増加しても、Dense2Sparseは安定した収束速度と性能を維持し、ノイズに対する強い頑健性を示した。
• 報酬誤差の蓄積に対する耐性が優れており、密報酬のみを用いた学習で一般的に見られる部分最適な方策を避けることができた。
• アブレーションスタディの結果、二段階戦略（密報酬→疎報酬）は、単独で用いたいずれの手法よりも高速な収束とより優れた最終的性能を実現することが確認された。
• 不完全な状態表現を用いても、複雑なタスクにおいて近似オラクル性能を達成した。これは、不確実な環境下でも本手法の有効性を裏付けるものである。