[論文レビュー] Learning Dexterous In-Hand Manipulation

OpenAI, Andrychowicz, Marcin+15 more|arXiv (Cornell University)|Aug 1, 2018

Robot Manipulation and Learning参考文献 65被引用数 277

ひとこと要約

この論文は Shadow Hand を用いたすばやい手内操作のための視覚ベースで記憶を持つ強化学習ポリシーを、ランダム化されたシミュレーターで訓練し、デモンストレーションなしで実機へ移植する。

ABSTRACT

We use reinforcement learning (RL) to learn dexterous in-hand manipulation policies which can perform vision-based object reorientation on a physical Shadow Dexterous Hand. The training is performed in a simulated environment in which we randomize many of the physical properties of the system like friction coefficients and an object's appearance. Our policies transfer to the physical robot despite being trained entirely in simulation. Our method does not rely on any human demonstrations, but many behaviors found in human manipulation emerge naturally, including finger gaiting, multi-finger coordination, and the controlled use of gravity. Our results were obtained using the same distributed RL system that was used to train OpenAI Five. We also include a video of our results: https://youtu.be/jwSbzNHGflM

研究の動機と目的

• 完全にシミュレーション訓練を用いて物理ロボット上で視覚ベースの巧妙な手内操作を実証する。
• 広範なランダム化と記憶搭載ポリシーがシミュレーションから現実への移行を可能にすることを示す。
• マーカーなしで展開可能な、シミュレーションだけで訓練された視覚ベースの物体姿勢推定器を開発する。
• 転移を達成する上でランダム化と記憶の重要性を評価する。
• 分散型 RL システムのサンプル効率と、巧妙なポリシーのスケーラビリティを分析する。

提案手法

• Shadow Hand が物体を操作する MuJoCo シミュレーションの分布に対して PPO を用いて、記憶拡張リカレントネットワーク（LSTM）として制御ポリシーを訓練する。
• 学習を単純化するため、各関節あたりの行動を11ビンに離散化する。
• 現実のロボットで利用できない追加情報を value ネットワークがアクセスできる非対称的 actor-critic 構成を使用する。
• 現実性ギャップを埋めるため、エピソード間で物理パラメータ（摩擦、質量、重力 など）と視覚外観をランダム化する（ドメインランダム化）。
• 現実ロボットで視覚ベースの状態推定を可能にするため、合成レンダリング上で別個の視覚モデルを訓練し、3 つの RGB カメラ視点から物体姿勢を予測する。

実験結果

リサーチクエスチョン

• RQ1 heavy domain randomization で完全にシミュレーションで訓練されたポリシーは、五指の巧妙な手の手内オブジェクト再配置を実機で転移できるか？
• RQ2 記憶、観測のランダム化、および物理ランダム化は成功した転移にどのような役割を果たすか？
• RQ3 合成データのみで訓練された視覚ベースの姿勢推定器は現実世界の操作に十分か？
• RQ4 分散型 RL 訓練でシステムはどの程度スケールし、記憶の影響は性能にどう現れるか？
• RQ5 人間のデモなしで学習することでどのような把持・操作戦略が現れるか？

主な発見

Task	Mean	Median	Individual trials (sorted)
Block (state)	43.4±13.8	50	-
Block (state, locked wrist)	44.2±13.4	50	-
Block (vision)	30.0±10.3	33	-
Octagonal prism (state)	29.0±19.7	30	-
Block (state) (physical)	18.8±17.1	13	50, 41, 29, 27, 14, 12, 6, 4, 4, 1
Block (state, locked wrist) (physical)	26.4±13.4	28.5	50, 43, 32, 29, 29, 28, 19, 13, 12, 9
Block (vision) (physical)	15.2±14.3	11.5	46, 28, 26, 15, 13, 10, 8, 3, 2, 1
Octagonal prism (state) (physical)	7.8±7.8	5	27, 15, 8, 8, 5, 5, 4, 3, 2, 1

• ポリシーは人間のような把持や、指の歩行、複数指の協調、重力を意識した操作といったデモなしでの巧妙な挙動を示す。
• 広範なランダム化で実機の Shadow Hand への転移が可能になるが、現実世界の性能は現実性ギャップのためシミュレーションより低い。
• シミュレーションで訓練された視覚ベースの姿勢推定は、マーカーベースの姿勢推定に近い性能で実機のポリシー駆動に用いることができる。
• 記憶を持つポリシー（LSTM）は、非記憶ポリシーより移行と性能を大幅に改善する。
• 分散 RL でシステムはスケールし、より多くの GPU/CPU で実質的な速度向上を得られ、記憶拡張ポリシーは物理ロボットで非記憶バリアントを上回る。