[論文レビュー] Learning Robotic Manipulation of Granular Media

Connor Schenck, Jonathan Tompson+2 more|arXiv (Cornell University)|Sep 8, 2017

Robot Manipulation and Learning参考文献 32被引用数 24

ひとこと要約

本論文は、ピントビーンズのような細粒体のロボット操作をモデル化するための構造的畳み込みニューラルネットワーク（scoop & dump-Net）を提案し、状態遷移を予測する際、非構造的ネットワークやヒューリスティックベースラインを上回る性能を発揮した。主な結果として、アーキテクチャ設計による物理的ダイナミクスの明示的モデリングが、暗黙の価値予測や一般化されたディープラーニングに比べ、より正確で効率的なポリシー学習を可能にすることを示した。

ABSTRACT

In this paper, we examine the problem of robotic manipulation of granular media. We evaluate multiple predictive models used to infer the dynamics of scooping and dumping actions. These models are evaluated on a task that involves manipulating the media in order to deform it into a desired shape. Our best performing model is based on a highly-tailored convolutional network architecture with domain-specific optimizations, which we show accurately models the physical interaction of the robotic scoop with the underlying media. We empirically demonstrate that explicitly predicting physical mechanics results in a policy that out-performs both a hand-crafted dynamics baseline, and a "value-network", which must otherwise implicitly predict the same mechanics in order to produce accurate value estimates.

研究の動機と目的

• 標準的な運動学的手法では難しい細粒体のロボット操作のための予測モデルを開発・評価すること。
• ネットワークアーキテクチャによる物理的ダイナミクスの明示的モデリングが、暗黙の学習や手作業で設計されたヒューリスティクスに比べ、ポリシー性能を向上させるかどうかを調査すること。
• 実世界の操作タスクにおいて、非構造的CNN、構造的CNN、価値ネットワーク、幾何的ヒューリスティクスの異なるディープラーニングアーキテクチャの有効性を比較すること。
• ドメイン特化のアーキテクチャ的インダクティブバイアスが、非剛体材料のロボット制御における一般化性能とサンプル効率を向上させるかどうかを特定すること。

提案手法

• 初期状態と操作行動（例：すくいとこぼし）を入力として、細粒体の全状態遷移を予測する標準的な非構造的ConvNetを訓練する。
• 操作の物理的段階（すくい vs. こぼし）をアーキテクチャ的要素として明示的にモデル化する構造的ConvNet（scoop & dump-Net）を設計し、物理的整合性を維持する。
• 状態遷移をモデル化しないが、暗黙のダイナミクス推論に依存する、行動の望ましさを予測する価値ネットワークを実装する。
• 学習を行わず、簡略化された物理法則を用いて媒体再配置を推定する幾何的ヒューリスティクスベースラインを開発する。
• スプーン型グリッパーを搭載したロボット装置を用いてピントビーンズをトレイ内で操作する大規模な実世界データセットを収集し、予測モデルの教師あり学習を可能にする。
• 訓練済みの予測モデルをモデルベース強化学習フレームワークに統合し、目標形状に媒体を変形させる行動シーケンスを選択する。

実験結果

リサーチクエスチョン

• RQ1 物理的状態遷移を明示的に予測するディープラーニングモデルが、ダイナミクスを暗黙的に推論する価値ネットワークに比べ、細粒体操作において優れた性能を発揮できるか？
• RQ2 操作行動の物理的段階（例：すくい vs. こぼし）を反映するアーキテクチャの構造化が、予測精度とポリシー性能を向上させるか？
• RQ3 非構造的ディープラーニングネットワークとヒューリスティクスベースラインは、実世界のロボットタスクにおける複雑な細粒体ダイナミクスをどの程度正確にモデル化できるか？
• RQ4 予測モデルの構造が、細粒体の形状形成における収束速度と最終的な精度にどの程度影響を与えるか？
• RQ5 物理的事前知識に基づく学習済み予測モデルは、ブラックボックスネットワークや手作業で設計されたルールに比べ、複雑な操作タスクでより優れた一般化性能を示せるか？

主な発見

• 操作の物理的段階をアーキテクチャに組み込んだ構造的scoop & dump-Netは、ピル型およびG字型のターゲットタスクの両方で予測誤差が最小で、収束が最も速かった。
• 非構造的ConvNet（single-net）はテストセットではscoop & dump-Netと同等の性能を示したが、ポリシー学習における一般化性能が著しく劣っており、テスト精度以上のアーキテクチャ設計の重要性が示された。
• 価値ネットワークは収束はしたが、データが限られる状況下で一般化性能が低く、局所最適解に陥りやすく、他のすべてのモデルに劣った。
• 幾何的ヒューリスティクスベースラインは予測精度が低かったが、依然としてタスク完了を可能としており、粗いモデルでも実用的であることが示されたが、学習済みモデルに比べて遅かった。
• scoop & dump-Netは、single-netおよびヒューリスティクスベースラインよりも目標形状にはるかに速く到達した。物理的インダクティブバイアスがサンプル効率を向上させることを確認した。
• より複雑なG字型タスクでは、構造的モデルが非構造的モデルおよびヒューリスティクスベースラインを上回った。後者は収束が遅かったが、最終的にはわずかな成功幅を達成した。