[論文レビュー] Simultaneous Multi-View Object Recognition and Grasping in Open-Ended Domains

Hamidreza Kasaei, Sha Luo+2 more|arXiv (Cornell University)|Jun 3, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文では、オープンエンドドメインにおける多視点物体認識とグリップ予測を統合的に実行する、拡張されたメモリを備えたディーブラーニングアーキテクチャを提案する。ビジョントランスフォーマーとグリップネットワークを用いてRGBと深度特徴を統合することで、メタアクティブラーニングを介した継続的で少数ショットの学習が可能となり、分類精度は95%、雑然としたシーンにおけるグリップ成功確率は91%を達成した。

ABSTRACT

To aid humans in everyday tasks, robots need to know which objects exist in the scene, where they are, and how to grasp and manipulate them in different situations. Therefore, object recognition and grasping are two key functionalities for autonomous robots. Most state-of-the-art approaches treat object recognition and grasping as two separate problems, even though both use visual input. Furthermore, the knowledge of the robot is fixed after the training phase. In such cases, if the robot encounters new object categories, it must be retrained to incorporate new information without catastrophic forgetting. In order to resolve this problem, we propose a deep learning architecture with an augmented memory capacity to handle open-ended object recognition and grasping simultaneously. In particular, our approach takes multi-views of an object as input and jointly estimates pixel-wise grasp configuration as well as a deep scale- and rotation-invariant representation as output. The obtained representation is then used for open-ended object recognition through a meta-active learning technique. We demonstrate the ability of our approach to grasp never-seen-before objects and to rapidly learn new object categories using very few examples on-site in both simulation and real-world settings. A video of these experiments is available online at: https://youtu.be/n9SMpuEkOgk

研究の動機と目的

• ロボットが新しい物体カテゴリに遭遇する動的で人間中心の環境において、継続的かつオープンエンドな物体認識とグリップを実現する挑戦に取り組む。
• 完全な再トレーニングなしにインクリメンタルな知識獲得を可能にすることで、ディーブラーニングにおける深刻な忘却を克服する。
• 非専門家のユーザーによるインタラクティブなガイドに依存して、現場での少数の例のみで新しい物体カテゴリを学習できるようにする。
• 孤立物体および雑然とした物体に対し、安定したグリップ配置とスケール・回転不変の物体表現を同時に予測する。
• リソース制約のあるロボットシステムにおいて、効率的でリアルタイムな適応を実現するため、ディープラーニングとメタアクティブラーニングを統合する統一フレームワークを開発する。

提案手法

• 物体の複数のRGB-Dビューを入力とし、RGBビューはビジョントランスフォーマーを用いてテクスチャ特徴を抽出する。
• 深度画像は最大エントロピーを用いて幾何的特徴を抽出し、専用のグリップネットワークを用いてピクセル単位のグリップ配置を予測する。
• RGBと深度の特徴表現を連結して、グローバルでスケールおよび回転不変の物体表現を生成する。
• メタアクティブラーニングを用いて、1カテゴリあたり3〜5例のラベル付き例のみで迅速な少数ショット分類を可能にする。
• 合成データセット上でネットワーク全体をエンドツーエンドにトレーニングし、グリップと認識の両方の性能を最適化する。
• グローバル表現を、最小限の忘却で継続的なカテゴリ学習をサポートする下流のオープンエンド学習ヘッドに入力する。

実験結果

リサーチクエスチョン

• RQ1 1つのディーブラーニングアーキテクチャが、オープンエンドで現実世界の環境において、正確な3次元物体認識と安定したグリップ予測を同時に実行できるか？
• RQ2 ロボットが、深刻な忘却を伴わずに、現地での少数の例のみで新しい物体カテゴリを学習できるか、その効果はどの程度か？
• RQ3 RGBと深度データのマルチビュー統合が、雑然としたシーンやピル・オブ・オブジェクトの状況における頑健性をどの程度向上させるか？
• RQ4 メタアクティブラーニングが、非専門家ユーザーからのリアルタイムのインタラクティブな知識獲得を、リアルタイムのロボットアプリケーションで可能にするか？
• RQ5 限られたデータ条件下で、提案手法が最先端の手法と比較してグリップ成功確率および認識精度の面でどの程度優れているか？

主な発見

• 提案手法は、1カテゴリあたり平均5例未満のトレーニング例を用いて、未観測の物体カテゴリで95%の物体認識精度を達成した。
• 15個以上の物体が存在する極めて雑然とした状況において、テーブルを片付けるタスクを10回の実世界実験のうち9回で成功させ、90%の成功率を達成した。
• ピル・オブ・オブジェクトのグリップにおいて、シミュレーションでは25回中23回（92%の成功率）、実世界実験では10回中9回（90%の成功率）で成功した。
• 複雑で雑然とした環境下でも、シミュレーションおよび実世界の両方で91%以上の成功確率で安定したグリップ配置を予測した。
• 失敗事例の主な原因は、到達不能な物体位置や、複数の物体（例：物体とその支持構造を同時に掴む）を意図せず同時に掴むグリップであった。
• オブジェクト中心のグリップ予測と不変特徴表現の使用により、視点の変化やカメラポーズの変化に対しても頑健であることが示された。