[論文レビュー] Reinforcement Learning for Pivoting Task

Rika Antonova, Silvia Cruciani+2 more|arXiv (Cornell University)|Mar 1, 2017

Reinforcement Learning in Robotics参考文献 16被引用数 36

ひとこと要約

本論文では、独自に設計された不完全なシミュレータを用いた強化学習アプローチを提案し、ロボットのピボットタスクにおける頑健なポリシーの学習を実現した。この手法により、シミュレーションと現実世界のギャップやパrameterの不確実性にもかかわらず、実機ハードウェアや未学習の物体に対しても成功裏に一般化が可能となった。訓練済みのツールを用いたBaxterロボットでは93%の成功率を達成し、未訓練のツールでは83%の成功率を示した。

ABSTRACT

In this work we propose an approach to learn a robust policy for solving the pivoting task. Recently, several model-free continuous control algorithms were shown to learn successful policies without prior knowledge of the dynamics of the task. However, obtaining successful policies required thousands to millions of training episodes, limiting the applicability of these approaches to real hardware. We developed a training procedure that allows us to use a simple custom simulator to learn policies robust to the mismatch of simulation vs robot. In our experiments, we demonstrate that the policy learned in the simulator is able to pivot the object to the desired target angle on the real robot. We also show generalization to an object with different inertia, shape, mass and friction properties than those used during training. This result is a step towards making model-free reinforcement learning available for solving robotics tasks via pre-training in simulators that offer only an imprecise match to the real-world dynamics.

研究の動機と目的

• 異なる物体の性質やハードウェア設定にわたる一般化を可能にするロボットピボットタスクの頑健な強化学習ポリシーの開発。
• 正確な動的モデルが得られない連続制御タスクにおけるシミュレーションから現実への転送の課題に対処すること。
• シミュレーションと実機ロボットのパrameterが正確に一致しなくても、効果的なポリシー学習が可能になるようにすること。
• 簡素化されたシミュレータで学習したポリシーが、実際のロボットを制御し、質量、慣性モーメント、摩擦が異なる物体に対しても一般化できることを実証すること。

提案手法

• ピボットタスクの近似動的方程式を用いて、摩擦やアクチュエータ遅延などの不確実パrameterを組み込んだ独自のシミュレータを構築した。
• シミュレーションパrameter（例：摩擦、質量）をランダムにサンプリングすることで、多様な訓練エピソードを生成し、現実世界との不一致に対するポリシーの頑健性を向上させた。
• 深層強化学習アルゴリズム（PPO）を用いて、シミュレーション内での非線形制御ポリシーを直接学習した。
• 状態観測（物体の角度、グリッパーの状態など）に基づき、グリッパーの加速度とフィンガ距離の指令を出力するようにポリシーを訓練した。
• シミュレーション内でのデータ拡張に重点を置くことで、正確な動的モデルに依存しない、頑健なポリシー学習を実現した。
• 訓練済みポリシーは、微調整なしにBaxterロボットに直接デプロイされ、未学習のツールへの一般化がテストされた。

実験結果

リサーチクエスチョン

• RQ1 不完全で簡素化されたシミュレータで学習したポリシーは、シミュレーションと現実世界の差異があるにもかかわらず、実機ロボットのピボットタスクを成功裏に制御できるか？
• RQ2 ある物体で学習したポリシーは、訓練時に未使用の物理的性質（質量、慣性モーメント、摩擦）を持つ物体に対しても、どれほど一般化できるか？
• RQ3 不確実または近似された動的特性を持つシミュレータで学習したモデルフリー強化学習が、実機ハードウェアで頑健な性能を発揮できるか？
• RQ4 シミュレーション内でのパrameterのランダム変動が、ポリシーの頑健性および現実世界への一般化を向上させるか？
• RQ5 再訓練なしに、複数のターゲット角度や多様なピボット範囲を扱える単一のポリシーを構築できるか？

主な発見

• 訓練済みのツールを用いた場合、シミュレーションで使用されたパrameterを反映したBaxterロボットでピボットタスクを実行したところ、93%の成功率を達成した。
• 同じポリシーを、物理的性質が未知の別のツールに適用したところ、83%の成功率を示し、訓練設定を越えた強い一般化能力を示した。
• 45°、-60°、30°、5°のターゲット角度すべてに対して、物体を正常にピボット制御できた。これは、広範な運動要件にわたる頑健性を示している。
• シミュレーションとは異なる質量、慣性モーメント、摩擦を持つ物体に対しても、ポリシーが効果的に一般化した。これは、パrameterの不一致に対して不感であることを示唆している。
• ターゲットに到達する平均時間は、訓練済みツールでは約5秒、未訓練ツールでは約10秒であり、安定的で予測可能な動作を示した。
• 追跡の不正確さやわずかなスライドに対しても、システムは頑健であった。30試行あたり1–2回の転倒にとどまり、わずかなずれに対してもポリシーは回復し、タスクを完了できた。