[論文レビュー] Deep Predictive Policy Training using Reinforcement Learning

Ali Ghadirzadeh, Atsuto Maki+2 more|arXiv (Cornell University)|Mar 2, 2017

Reinforcement Learning in Robotics参考文献 25被引用数 16

ひとこと要約

本論文は、3層構造のニューラルネットワークアーキテクチャ（認識、方策、行動スーパーレイヤー）を用いたデータ効率の良い深層予測的方策学習（DPPT）フレームワークを提案する。これにより、たった180回の実ロボット試行でのみ、現実世界のロボットスキル学習が可能になる。本手法では、認識層と行動層を合成データおよびシミュレーテッドデータで事前学習し、小規模な方策層は質的終端報酬のみを用いて強化学習でファインチューニングする。これにより、PR2ロボット上で効果的な grasping（把持）とボール投げが実現された。

ABSTRACT

Skilled robot task learning is best implemented by predictive action policies due to the inherent latency of sensorimotor processes. However, training such predictive policies is challenging as it involves finding a trajectory of motor activations for the full duration of the action. We propose a data-efficient deep predictive policy training (DPPT) framework with a deep neural network policy architecture which maps an image observation to a sequence of motor activations. The architecture consists of three sub-networks referred to as the perception, policy and behavior super-layers. The perception and behavior super-layers force an abstraction of visual and motor data trained with synthetic and simulated training samples, respectively. The policy super-layer is a small sub-network with fewer parameters that maps data in-between the abstracted manifolds. It is trained for each task using methods for policy search reinforcement learning. We demonstrate the suitability of the proposed architecture and learning framework by training predictive policies for skilled object grasping and ball throwing on a PR2 robot. The effectiveness of the method is illustrated by the fact that these tasks are trained using only about 180 real robot attempts with qualitative terminal rewards.

研究の動機と目的

• ロボティクスにおける予測的アクション方策の学習のためのデータ効率的なフレームワークを開発すること。
• エキスパートが設計した特徴量に依存しないように、生の視覚データからタスクに適した状態表現を学習すること。
• 非エキスパートのオペレータがアクセス可能な質的終端報酬のみを用いて、複雑なモータスキルを学習可能にすること。
• 認識層と行動層をシミュレーションで事前学習し、実ロボットデータで方策をファインチューニングすることで、シミュレーションから現実へのギャップを埋めること。
• スケーラブルな特徴抽象化により、未観測の視覚的干渉要因に対しても認識モデルのロバスト性を向上させること。

提案手法

• アーキテクチャは3つのスーパーレイヤーを用いる：認識（視覚入力を抽象化）、方策（抽象化された状態をモータ制御シーケンスにマッピング）、行動（モータ軌道を抽象化）。
• 認識層と行動層は、それぞれ合成データおよびシミュレーテッドデータを用いて事前学習され、実世界データへの依存度を低減する。
• 方策スーパーレイヤーはパラメータ数が少ない小規模なサブネットワークであり、質的終端報酬を用いた強化学習によって学習される。
• 強化学習では、ストキャスティックな方策探索が用いられ、報酬関数は全軌道を評価する（例：成功した把持または投げは+2）。
• ブラインドコントローラーを用いて行動層の学習サンプルを生成し、将来的には人間のデモやモーションキャプチャへの拡張が可能である。
• 共通の特徴をタスクとレイヤー間で活用することで、転移学習を可能にし、複数対象の操作をサポートする。

実験結果

リサーチクエスチョン

• RQ1 最小限の実世界データと質的終端報酬のみを用いて、深層予測的方策を効果的に学習できるか？
• RQ2 合成データおよびシミュレーテッドデータから、認識および行動の抽象化を効率的に学習することで、実ロボットとの相互作用をどれだけ削減できるか？
• RQ3 本アーキテクチャは、現実世界環境における未観測の干渉要因に対し、どの程度一般化可能か？
• RQ4 段階的監視なしに、終了シーケンス報酬のみを用いて方策スーパーレイヤーを効果的に学習できるか？
• RQ5 モジュラーなアーキテクチャは、異なる操作タスク間での転移学習をどのように支援するか？

主な発見

• 本フレームワークは、PR2ロボット上でボール投げと物体把持の予測的方策を、たった180回の実ロボット試行で成功裏に学習した。
• ボール投げタスクでは、干渉要因がない状況で決定的方策が平均報酬1.58を達成し、ほとんどがターゲットに命中したことを示した。
• 既知の干渉要因がある状況でも、平均報酬は1.58のまま維持され、以前に見た物体に対してロバストであることが示された。
• 未知の干渉要因がある状況では、平均報酬は0.83に低下し、認識における一般化の不足により性能が低下したことが示された。
• 認識モデルの特徴抽出は、未観測の物体に対して感受性が高く、図8に示すように、干渉要因の周囲で誤って特徴がクラスタリングされた。
• 質的報酬のみを用いて学習された方策スーパーレイヤーは高いパフォーマンスを達成し、複雑なスキル学習における非エキスパートがアノテートした報酬信号の実現可能性を示した。