[論文レビュー] Associating Grasping with Convolutional Neural Network Features.

Li Yang Ku, Erik Learned-Miller+1 more|arXiv (Cornell University)|Sep 13, 2016

Robot Manipulation and Learning参考文献 22被引用数 3

ひとこと要約

本論文では、事前学習済み特徴量と標的指向バックプロパゲーションを活用して、操作可能な物体構造を局所化することで、視覚入力をロボットハンドのプリシェーピングに変換するCNNベースの手法を提案する。CNNの各層における階層的特徴の3次元位置を特定することにより、ごみが多いシーンでも効果的なプリシェーピングが可能となり、Robonaut-2において点群ベースの手法を上回る性能を発揮する。

ABSTRACT

In this work, we provide a solution for pre-shaping a human-like robot hand for grasping based on visual information. Our approach uses convolutional neural networks (CNNs) to define a mapping between images and grasps. Applying CNNs to robotics applications is non-trivial for two reasons. First, collecting enough robot data to train a CNN at the same scale as the models trained in the vision community is extremely difficult. In this work, we demonstrate that by using a pre-trained CNN, a small set of grasping examples is sufficient for generalizing across different objects of similar shapes. Second, the final output of a CNN contains little location information of the observed object, which is essential for the robot to manipulate the object. We take advantage of the hierarchical nature of CNN layers and identify the 3D positions of features that capture the hierarchical support relations between filters in different CNN layers using an approach we call targeted backpropagation. Targeted backpropagation traces the activation of higher level features in a CNN backwards through the network to discover the locations in the observation that were responsible for making them fire, thus localizing important structures that are manipulable in the environment. We show that this approach outperforms approaches without targeted backpropagation in a cluttered scene. We further implement a hierarchical controller that controls fingers and palms based on features located in different layers of the CNN for pre-shaping the robot hand and demonstrate that this approach outperforms a point cloud based approach on a grasping task on Robonaut-2.

研究の動機と目的

• 限られた実世界のトレーニングデータでのみ、物体形状の多様性にわたるロボットのつかみの一般化を達成すること。
• 標準的なCNN出力に空間的局所化が欠如しているため、正確なロボット操作が困難になるという問題を克服すること。
• 空間的局所化を伴う階層的CNN特徴を用いて、人間のようなロボットハンドの効果的なプリシェーピングを可能にすること。
• ベースライン手法と比較して、ごみが多い環境下でのつかみ性能を向上させること。

提案手法

• 大規模なロボット固有のデータセットを必要とせず、事前学習済み畳み込みニューラルネットワーク（CNN）を用いて、画像から視覚的特徴を抽出する。
• 高レベルのCNN特徴からの活性化を入力画像内の空間的位置へと逆方向に追跡する標的指向バックプロパゲーションを適用し、操作可能な主要構造を同定する。
• 複数のCNN層にわたる特徴検出器の3次元位置を特定することで、フィルタ間の階層的サポート関係を捉える。
• 異なるCNN層の特徴をロボットハンドの各指および掌の制御にマッピングする階層的コントローラーを構築する。
• 局所化された特徴マップを活用して、接触前のロボットハンドのプリシェーピングを物体の幾何形状に合わせて行う。
• 物体の境界が曖昧なごみが多いシーンでも耐性を高めるために、マルチスケールの特徴表現を採用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNを用いる場合、少量のつかみのデモンストレーションで、類似した物体形状に一般化可能か？
• RQ2 CNN特徴の空間的局所化をどのように達成すれば、正確なロボット操作を可能にするか？
• RQ3 標準的なCNN特徴マップと比較して、標的指向バックプロパゲーションはごみが多い環境下でのつかみ成功率を向上させるか？
• RQ4 マルチレイヤーCNN特徴に基づく階層的制御は、点群ベースのアプローチを上回るプリシェーピング性能を達成できるか？
• RQ5 階層的特徴局所化の統合は、Robonaut-2のような人型ロボットにおけるつかみ性能をどのように向上させるか？

主な発見

• 本手法は、少量のつかみデモンストレーションのみで効果的なプリシェーピングを達成し、類似した物体形状への一般化を示した。
• 標的指向バックプロパゲーションにより、画像内での関連する物体構造の局所化に成功し、正確なハンドの配置が可能になった。
• つかみに関連する特徴の空間的認識が向上したため、ごみが多いシーンにおいて標準的なCNN特徴マップを上回る性能を発揮した。
• マルチレイヤーCNN特徴に基づく階層的コントローラーは、Robonaut-2において点群ベースのベースラインを上回るつかみ成功率を達成した。
• 標的指向バックプロパゲーションを用いた事前学習済みCNNの使用により、大規模なロボット用トレーニングデータの必要性が低下し、高い性能を維持できた。