[論文レビュー] Planning Multi-Fingered Grasps as Probabilistic Inference in a Learned Deep Network

Qingkai Lu, Kautilya Chenna+2 more|arXiv (Cornell University)|Apr 10, 2018

Robot Manipulation and Learning参考文献 18被引用数 18

ひとこと要約

本論文では、視覚入力とグリップ設定からのグリップ成功確率を予測する深層畳み込みニューラルネットワーク（CNN）における確率的推論として、マルチフィンガーグリップ計画を定式化する新規手法を提案する。本手法は、ネットワーク内での勾配上昇最適化を用いて高品質なグリップ設定を直接推論し、最小限の初期化で未学習の物体に対して84%の成功率を達成しており、サンプリングベースの手法を上回りながら、データ効率的でリアルタイムに実装可能な性能を発揮する。

ABSTRACT

We propose a novel approach to multi-fingered grasp planning leveraging learned deep neural network models. We train a convolutional neural network to predict grasp success as a function of both visual information of an object and grasp configuration. We can then formulate grasp planning as inferring the grasp configuration which maximizes the probability of grasp success. We efficiently perform this inference using a gradient-ascent optimization inside the neural network using the backpropagation algorithm. Our work is the first to directly plan high quality multifingered grasps in configuration space using a deep neural network without the need of an external planner. We validate our inference method performing both multifinger and two-finger grasps on real robots. Our experimental results show that our planning method outperforms existing planning methods for neural networks; while offering several other benefits including being data-efficient in learning and fast enough to be deployed in real robotic applications.

研究の動機と目的

• 外部プランナに依存せずに、深層ニューラルネットワークを用いて高品質なマルチフィンガーグリップ計画を実現すること。
• 負のグリップ例を活用する分類ベースのネットワークを用いることで、グリップ学習のデータ効率を向上させること。
• 訓練済みの深層ネットワーク内で直接推論を実行することで、リアルタイムで実装可能なグリップ計画を可能とすること。
• 設定空間における最適化により、1つの物体に対して複数の高品質なグリップを計画できること。
• エンドツーエンドの学習と最適化を統合した深層モデルが、複雑なロボット操作タスクに有効であることを示すこと。

提案手法

• 畳み込みニューラルネットワーク（CNN）を訓練し、視覚入力（画像パッチ）とグリップ設定（例：関節角、ワristポーズ）の関数としてグリップ成功確率を予測する。
• グリップ計画は確率的推論として定式化される：P(Y=1|z,θ)を最大化する。ここでzは画像パッチ、θはグリップ設定である。
• バックプロパゲーションを用いて、訓練済みネットワーク内で勾配上昇最適化を実行し、θを更新する。この際、関節角が物理的制約内に保たれるように制約を課す。
• 複数の候補となる初期設定（例：異なる幅、方向、位置）から推論を開始し、予測成功確率が最も高いものを選択する。
• 最適化された2D長方形から、先行研究（例：Lenz et al., 2015）に準拠した方法を用いて3Dグリップに変換する。
• 2つの新規なCNNアーキテクチャを提案する：マルチチャネルネットワークとパッチベースネットワークであり、両者ともグリップ設定を効果的に符号化することを目的としている。

実験結果

リサーチクエスチョン

• RQ1 外部プランナを必要とせず、深層ニューラルネットワーク内での確率的推論としてグリップ計画を効果的に行うことができるか？
• RQ2 学習済みネットワーク内で勾配上昇を設定空間に適用することで、サンプリングベースの手法よりも高いグリップ成功率が達成できるか？
• RQ3 分類ベースの深層ネットワークを用いたグリップ成功予測は、回帰ベースのアプローチと比較してデータ効率を向上させられるか？
• RQ4 本手法は、形状やテクスチャが異なる未学習の物体に対し、どのように性能を発揮するか？
• RQ5 本手法は、1つの物体に対して複数の高品質なグリップを生成でき、タスク固有の選択を可能にするか？

主な発見

• 提案手法は、学習データに含まれない10種類の未学習の物体に対して84%の成功率を達成し、ベースラインのサンプリング手法を上回った。
• 本手法は、1物体あたり4つの初期グリップ設定で高い成功率を達成しており、従来のサンプリングベース手法で一般的に用いられるサンプル数よりも著しく少ない。
• 訓練済みCNNは、成功したグリップに対して少なくとも96%の成功確率を予測したが、実際の成功率は84%であった。これは、予測が過信されていることを示唆している。
• 分類ベースのモデルが負のグリップ例を効果的に活用できるのに対し、回帰ベースのモデルは同様の例を効果的に利用できないことから、本手法はデータ効率的であることが示された。
• 本手法は実ロボット上でも高品質なグリップを計画でき、リアルタイム実装可能性と物体の多様な変動に対するロバストネスを実証した。
• 分類器の性能向上は直ちにプランナの性能向上に反映され、より良いグリップ予測により即座に性能向上が得られる。