[論文レビュー] Deep Reinforcement Learning for Dexterous Manipulation with Concept Networks

Aditya Gudimella, Ross Story+5 more|arXiv (Cornell University)|Sep 20, 2017

Reinforcement Learning in Robotics参考文献 19被引用数 15

ひとこと要約

本論文では、複雑な器用な操作タスクを再利用可能でモジュラーな概念（例：把持、持ち上げ、積み上げ）に分解する階層的ディープ強化学習フレームワーク、Concept Network Reinforcement Learning (CNRL) を提案する。各概念は簡略化された報酬関数を用いて独立して学習される。CNRL は、学習可能なセレクタを備えたツリー構造のネットワークにこれらの概念を統合することで、MuJoCo におけるロボットのプリズム積み上げタスクで、最先端手法と比較して環境との相互作用を 45 倍削減した。

ABSTRACT

Deep reinforcement learning yields great results for a large array of problems, but models are generally retrained anew for each new problem to be solved. Prior learning and knowledge are difficult to incorporate when training new models, requiring increasingly longer training as problems become more complex. This is especially problematic for problems with sparse rewards. We provide a solution to these problems by introducing Concept Network Reinforcement Learning (CNRL), a framework which allows us to decompose problems using a multi-level hierarchy. Concepts in a concept network are reusable, and flexible enough to encapsulate feature extractors, skills, or other concept networks. With this hierarchical learning approach, deep reinforcement learning can be used to solve complex tasks in a modular way, through problem decomposition. We demonstrate the strength of CNRL by training a model to grasp a rectangular prism and precisely stack it on top of a cube using a gripper on a Kinova JACO arm, simulated in MuJoCo. Our experiments show that our use of hierarchy results in a 45x reduction in environment interactions compared to the state-of-the-art on this task.

研究の動機と目的

• 高次元で報酬がスパarsity なロボット操作タスクにおける深層強化学習のサンプル非効率性の課題に対処すること。
• モノリシックなポリシー学習の限界を克服し、再利用可能で独立して学習可能なサブコンセプトに問題を分解可能にする。
• 事前に学習されたスキルや古典的コントローラーのプラグアンドプレイ統合を支援することで、産業用ロボットにおけるポリシーの迅速なデプロイと適応を可能にすること。
• 各コンセプトの有効性領域を定義し、意思決定経路を追跡可能にすることで、トレーニングの安定性、説明可能性、安全性を向上させること。
• 再訓練を伴わずに、異なるタスク間で部分タスクの解決策を効率的に転送・再利用できること。

提案手法

• 葉ノードがサブコンセプト（例：把持、持ち上げ、積み上げ）を表し、内部ノードが状態に基づいてどのサブコンセプトを実行するか選択する学習可能なセレクタを備えたツリー構造の概念ネットワークを導入する。
• 各コンセプトを、そのサブタスクに特化した簡略化された報酬関数を用いて独立して学習可能にすることで、探索の複雑さを低減する。
• 各コンセプトをブラックボックスコンponentとして扱うことで、異なる状態空間や学習アルゴリズム間でのコンセプトの再利用を可能にする。
• 状態空間の変換と拡張をサポートすることで、異なる表現で学習されたサブコンセプトを統合可能にし、再訓練を伴わずにモジュラーな構成を実現する。
• 状態ベースの実行制限を実装することで、コンセプトが訓練済みの有効性領域内でのみアクティブ化されるようにし、安全性と信頼性を向上させる。
• 学習されたコンセプトと古典的コントローラー（例：逆運動学）を組み合わせることで、高精度な操作タスクにおける精度とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複雑な操作タスクを再利用可能で独立して学習可能なサブコンセプトに階層的に分解することで、深層強化学習におけるサンプル複雑性を顕著に低減できるか？
• RQ2 事前に学習済みまたは古典的コントローラーを再訓練を伴わずに、学習された階層的ポリシー枠組みにスムーズに統合できるか、その程度はいかほどか？
• RQ3 選択的ポリシー経路を備えた概念ネットワークを用いることで、エンドツーエンド学習と比較して、トレーニング効率と収束速度がどのように向上するか？
• RQ4 階層的構造により、アクティブ化されたサブコンセプトをたどることで意思決定経路を追跡可能になることで、ポリシーの説明可能性とデプロイの安全性が向上するか？
• RQ5 高次元で報酬がスパarsity なロボット操作タスク、特に正確な制御と調整を要するタスクにおいて、このフレームワークはどの程度有効か？

主な発見

• CNRL は、MuJoCo における Kinova JACO アームを用いて長方形プリズムを立方体の上に積み上げることに成功し、複雑で高精度な操作タスクにおける実現可能性を示した。
• Popov 他 (2017) が提唱した最先端手法と比較して、必要な環境との相互作用回数を 45 倍削減した。これは、データ効率の顕著な向上を示している。
• モデルは 16,000 から 25,000 回の環境サンプルで有効なポリシーに収束した。これは、焦点を当てたサブタスク学習による高速かつ安定したトレーニングを示している。
• 各サブコンセプト（例：Orient, Lift, Stack）は、状態空間の制限付きサブセットに基づいた簡略化された報酬関数を用いて学習され、効率的な探索が可能になった。
• 状態空間の変換と有効性領域の制約を用いることで、異なる表現で学習されたサブコンセプトを再訓練なしにシームレスに統合可能となった。
• 階層的構造により説明可能な行動が実現された。意思決定は特定のアクティブ化されたサブコンセプトにたどり着け、システムの解釈可能性と信頼性が向上した。