[論文レビュー] Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates

Shixiang Gu, Ethan Holly+2 more|arXiv (Cornell University)|Oct 3, 2016

Reinforcement Learning in Robotics被引用数 40

ひとこと要約

本論文は、正規化利得関数（NAF）アルゴリズムの新規変種を用いた非同期でオフポリシーな深層強化学習手法を提示し、複雑な3次元ロボット操作タスクにおける深層ニューラルネットワーク方策のサンプル効率の高い学習を可能にした。本手法は、複数のロボットを用いて3時間未満で現実世界のドア開閉を完全に学習し、教師データや手作業で設計された表現を用いずに、直接的な深層強化学習が物理的システムにおいて実用的であることを示した。

ABSTRACT

Reinforcement learning holds the promise of enabling autonomous robots to learn large repertoires of behavioral skills with minimal human intervention. However, robotic applications of reinforcement learning often compromise the autonomy of the learning process in favor of achieving training times that are practical for real physical systems. This typically involves introducing hand-engineered policy representations and human-supplied demonstrations. Deep reinforcement learning alleviates this limitation by training general-purpose neural network policies, but applications of direct deep reinforcement learning algorithms have so far been restricted to simulated settings and relatively simple tasks, due to their apparent high sample complexity. In this paper, we demonstrate that a recent deep reinforcement learning algorithm based on off-policy training of deep Q-functions can scale to complex 3D manipulation tasks and can learn deep neural network policies efficiently enough to train on real physical robots. We demonstrate that the training times can be further reduced by parallelizing the algorithm across multiple robots which pool their policy updates asynchronously. Our experimental evaluation shows that our method can learn a variety of 3D manipulation skills in simulation and a complex door opening skill on real robots without any prior demonstrations or manually designed representations.

研究の動機と目的

• 人間の教師データやタスク固有の方策表現を用いずに、現実の物理的ロボットにおいて複雑な3次元ロボット操作を直接的深層強化学習で可能にすること。
• 従来、現実世界のロボットシステムにおいて深層強化学習と関連して高かったサンプルの複雑さを解消すること。
• 複数のロボットプラットフォームにまたがる非同期的かつ並列的な学習により、複雑な操作タスクの訓練時間を短縮すること。
• 複雑な操作タスクにおいて、単純な線形表現と比較して、深層ニューラルネットワーク方策の有効性を検証すること。

提案手法

• 共有方策を複数のロボットが独立的かつ非同期に更新できる、正規化利得関数（NAF）アルゴリズムの非同期的変種を提案。
• 経験リプレイを用いたオフポリシーな深層Q関数学習により、データ効率を向上させ、学習を安定化させる。
• タスク固有のアーキテクチャの変更や手作業で設計された特徴量を一切用いずに、汎用的な深層ニューラルネットワーク方策を採用。
• 訓練中の探索を制限するための安全メカニズムを導入し、現実世界への展開におけるリスクを低減。
• 複数のロボットから得た経験を集中型のリプレイバッファに集約し、多様で並列な経験収集により収束を高速化。
• 密集した、形状を加えた報酬関数を用い、連続的なフィードバック（例：ターゲットまでの距離、ドアの姿勢誤差）を提供することで、二値報酬のみに依存しない学習を促進。

実験結果

リサーチクエスチョン

• RQ1 高次元の行動空間と観測空間を持つ現実世界のロボット操作タスクに、NAFのようなオフポリシーな深層強化学習アルゴリズムをスケーリング可能か？
• RQ2 非同期的かつ複数ロボットによる並列学習が、複雑な3次元操作タスクにおけるサンプル複雑さと訓練時間を顕著に低減するか？
• RQ3 深層ニューラルネットワーク方策が、人間の教師データやタスク固有の表現を一切用いずに、ドア開閉のような複雑なスキルを完全に学習可能か？
• RQ4 複雑な操作タスクにおいて、深層ニューラルネットワーク方策のサンプル効率と最終的な性能は、単純な線形方策と比較してどのように異なるか？
• RQ5 複数のロボットから得られる経験の多様性が、方策の一般化能力と学習速度に与える影響は何か？

主な発見

• 提案された非同期的NAFアルゴリズムにより、2台の並列ワーカーを用いて、実ロボット上でドア開閉方策の学習を約2.5時間で完了し、20回連続で100％の成功を達成した。
• 1台のロボットでの学習では、同じタスクを100％の成功率に到達するのに4時間以上を要したため、並列化による顕著な高速化が確認された。
• 本手法は、シミュレーションおよび実ロボットの両方で、人間の教師データや手作業で設計された方策表現を一切用いずに、ドア開閉やピックアンドプレースといった複雑な3次元操作タスクを学習した。
• 単純な線形表現と比較して、深層ニューラルネットワーク方策は、複雑な操作タスクにおけるサンプル効率と最終的なタスク性能の両面で優れていた。
• 学習曲線は段階的な進行を示した：初期の探索段階、ハンドルへの断続的な接触、最終的には強固で一貫性のある方策の出現。
• オフポリシーなアルゴリズムを用い、効率的な経験再利用と並列化を実施することで、サンプルの複雑さが現実世界の深層強化学習の根本的障壁ではないことが示された。