[論文レビュー] 3D Simulation for Robot Arm Control with Deep Q-Learning

Stephen James, Edward Johns|arXiv (Cornell University)|Sep 13, 2016

Reinforcement Learning in Robotics参考文献 20被引用数 68

ひとこと要約

本論文では、3次元シミュレーション環境において、視覚入力と構造化された報酬関数のみを用いて、7自由度のロボットアームの制御をディープQラーニングで学習する手法を提案している。主な貢献は、シミュレーションで学習したポリシーを現実のロボットに直接転送することに成功した点であり、現実世界での微調整を一切行わずにエンドツーエンドの視覚ベース制御の実現可能性を示している。

ABSTRACT

Recent trends in robot arm control have seen a shift towards end-to-end solutions, using deep reinforcement learning to learn a controller directly from raw sensor data, rather than relying on a hand-crafted, modular pipeline. However, the high dimensionality of the state space often means that it is impractical to generate sufficient training data with real-world experiments. As an alternative solution, we propose to learn a robot controller in simulation, with the potential of then transferring this to a real robot. Building upon the recent success of deep Q-networks, we present an approach which uses 3D simulations to train a 7-DOF robotic arm in a control task without any prior knowledge. The controller accepts images of the environment as its only input, and outputs motor actions for the task of locating and grasping a cube, over a range of initial configurations. To encourage efficient learning, a structured reward function is designed with intermediate rewards. We also present preliminary results in direct transfer of policies over to a real robot, without any further training.

研究の動機と目的

• 生の視覚観測を用いたエンドツーエンドの強化学習アプローチを、手作業で設計されたモジュールパイプラインを回避してロボットアーム制御に開発すること。
• ロボット制御における高次元の状態空間と行動空間の課題に対処するため、スケーラブルな3次元シミュレーションを活用して学習を行うこと。
• 実世界のロボットハードウェアへの直接ポリシー転送の可能性を評価すること、特に追加の現実世界での微調整なしに実現可能かどうかを検証すること。
• 複雑な操作タスクにおける学習を加速させるために、中間報酬を含む構造化された報酬関数を設計すること。

提案手法

• 本手法は、3次元シミュレーションからの生のRGB画像を7自由度のロボットアームのモータ行動にマップするディープQネットワーク（DQN）を採用している。
• エージェントは、キューブに近づくこと、それをつかむこと、テーブルから持ち上げることの各段階に対して中間報酬を提供する報酬関数を用いて学習されている。
• 学習の安定化のため、経験再生とターゲットネットワークを用い、標準的なDQNアルゴリズムに従って学習が行われている。
• シミュレーション環境は、ロボットとキューブのリアルな画像をレンダリングしており、一般化性能を高めるために初期関節角度とキューブ位置をランダム化している。
• ポリシーは、追加の現実世界でのトレーニングなしに、固定された探索率（ε = 0.1）を用いて実際のロボットに直接デプロイされている。
• シミュレーションと現実世界の間で、訓練済みネットワークの特徴マップ活性化を比較し、視覚的類似性と転送可能性を評価している。

実験結果

リサーチクエスチョン

• RQ1 ディープQネットワークは、事前の知識や手作業で設計されたモジュールなしに、完全にシミュレーション内でのみ学習して視覚ベースのロボットアーム制御ポリシーを学習できるか？
• RQ2 中間報酬を含む構造化された報酬関数は、3次元ロボット操作タスクにおける学習効率を顕著に向上させるか？
• RQ3 シミュレーションで学習したポリシーは、追加の現実世界での微調整なしに、実世界のロボットに成功裏に転送可能か？
• RQ4 訓練済みネットワークにおける特徴マップ活性化は、シミュレーションと現実世界の視覚入力の間でどのように比較されるか？これは転送可能性を示唆するか？

主な発見

• 初期条件をランダム化した環境（環境B）で学習させた場合、固定初期条件（環境A）と比較して成功確率が2%から52%に上昇した。これは一般化の重要性を示している。
• 実際のロボットで50回のテストエピソードを実施した結果、シミュレーションから直接ポリシーを転送した場合に52%の成功確率を達成した。これはゼロショット転送の部分的な成功を示している。
• 実世界では、グリッパーをキューブに向かって正しく移動させることはできたが、グリッパーを確実に閉じることができず、二値行動の転送に課題があることが示唆された。
• キューブがグリッパーにすでに挟まれた状態で初期化した場合、エージェントはキューブを持ち上げるタスクを正常に完了した。これはポリシーがタスクの最終フェーズを実行可能であることを確認している。
• 特徴マップ活性化の視覚的比較により、シミュレーションと現実世界の入力間で強い類似性が確認された。これは視覚ドメイン転送の可能性を支持する。
• 学習された価値関数は時間とともに意味的に変化しており、エージェントがキューブに近づき、それをつかむに従ってQ値が着実に上昇した。これは有効なポリシー学習が行われたことを確認している。