[論文レビュー] Learning Contact-Rich Manipulation Skills with Guided Policy Search

Sergey Levine, Nolan Wagener+1 more|arXiv (Cornell University)|Jan 22, 2015

Robot Manipulation and Learning参考文献 25被引用数 50

ひとこと要約

本論文では、一般化された時変線形ガウス制御則を用い、接触を伴う操作スキルを学習するガイドドポリシーサーチ手法を提示している。この手法は、ニューラルネットワークを介して複数の線形ガウス制御則を統合し、非線形ポリシーを1つにまとめる。このアプローチにより、わずか数分間の実世界での相互作用と最小限の事前知識のみで、複雑で頑健な操作行動（例：おもちゃの飛行機の組み立て、ぴったりはまる部品の挿入）を高速かつサンプル効率よく学習可能である。

ABSTRACT

Autonomous learning of object manipulation skills can enable robots to acquire rich behavioral repertoires that scale to the variety of objects found in the real world. However, current motion skill learning methods typically restrict the behavior to a compact, low-dimensional representation, limiting its expressiveness and generality. In this paper, we extend a recently developed policy search method \cite{la-lnnpg-14} and use it to learn a range of dynamic manipulation behaviors with highly general policy representations, without using known models or example demonstrations. Our approach learns a set of trajectories for the desired motion skill by using iteratively refitted time-varying linear models, and then unifies these trajectories into a single control policy that can generalize to new situations. To enable this method to run on a real robot, we introduce several improvements that reduce the sample count and automate parameter selection. We show that our method can acquire fast, fluent behaviors after only minutes of interaction time, and can learn robust controllers for complex tasks, including putting together a toy airplane, stacking tight-fitting lego blocks, placing wooden rings onto tight-fitting pegs, inserting a shoe tree into a shoe, and screwing bottle caps onto bottles.

研究の動機と目的

• 事前定義された低次元ポリシー表現やエキスパートデモンストレーションに依存せずに、複雑で接触を伴う操作タスクの自律的学習を可能にすること。
• 適応的サンプリングとステップサイズ調整を導入することで、実世界のロボット学習におけるサンプル複雑性を低減すること。
• 合成データ拡張を用いて、新しい条件（例：新しいターゲット位置）への一般化を向上させること。
• ガイドドポリシーサーチを用いて、少数の実世界試行から高容量の非線形ポリシー（例：深層ニューラルネットワーク）を訓練すること。
• 挿入、積み重ね、ねじ込みなど多様な操作タスクに適用可能な汎用的なコスト関数フレームワークの開発

提案手法

• 与えられたタスクに対して多様な軌道を学習可能となるよう、繰り返し適合させた時変線形ガウス制御則を用い、複雑なダイナミクスの効率的探索を実現する。
• 複数の線形ガウス制御則を、任意のパrameterization（例：深層ニューラルネットワーク）を持つ1つの非線形ポリシーに統合するガイドドポリシーサーチを適用する。
• 反復ごとに実世界試行回数を動的に調整する適応的サンプル数調整方式を導入し、相互作用時間を短縮する。
• 学習の初期段階（比較的簡単なフェーズ）で学習を加速するステップサイズ適応法を開発し、サンプル効率を向上させる。
• 実世界データが限られる状況を補うために、推定された状態-行動周辺分布から抽出した合成サンプルを用いて、非線形ポリシーのトレーニングデータセットを拡張する。
• 最終ポリシーを表現するために、2層の隠れ層とソフト ReLU 非線形性、線形出力層を有するニューラルネットワークを用い、複雑な操作に適した高い表現力を持つ。

実験結果

リサーチクエスチョン

• RQ1 事前知識なしに、オブジェクトのダイナミクスやエキスパートデモンストレーションを必要とせずに、汎用的かつ高次元のポリシー表現が接触を伴う操作スキルを学習できるか？
• RQ2 複雑な操作タスクにおける実世界ロボット学習のサンプル効率をどのように向上できるか？
• RQ3 限定的な初期条件での学習後、1つの非線形ポリシーが新しいターゲット位置や構成にどの程度一般化できるか？
• RQ4 合成データ拡張が、実世界データが乏しい状況で深層ニューラルネットワークポリシーの訓練に有効に機能するか？
• RQ5 適応的サンプリングとステップサイズ制御を組み合わせることで、ガイドドポリシーサーチをどのように改善し、実ロボットプラットフォームでの相互作用時間を短縮できるか？

主な発見

• 本手法は、わずか数分間の実世界での相互作用の後、玩具の飛行機の組み立て、ぴったりはまるレゴブロックの積み重ね、靴型の挿入といった、頑健で高速かつ滑らかな操作行動を学習した。
• ニューラルネットワークポリシーは、リングを杭にのせるタスクおよびレゴブロックタスクにおいて、テスト位置で100％の成功率を達成し、4つの初期位置での学習にもかかわらず、新しいターゲット位置への一般化を示した。
• 訓練中に杭の位置にノイズを追加することで、ターゲット位置と成功との間の汎用的なマッピングを学習でき、特定の関節配置への過剰適合を低減した。
• 適応的サンプル数とステップサイズのスキームにより、必要な実世界試行回数が顕著に削減され、実ロボットへの展開が現実的になった。
• 推定された状態-行動周辺分布からの合成データ拡張により、実世界データが最小限でも大規模なニューラルネットワークの訓練が可能となり、ポリシーの一般化性能が向上した。
• 最終的な非線形ポリシーは、訓練中に見られなかった未踏のテストポイントに対しても効果的に一般化でき、強力な頑健性と適応性を示した。