[論文レビュー] Kinematically-Informed Interactive Perception: Robot-Generated 3D Models for Classification

Abhishek Venkataraman, Brent Griffin+1 more|arXiv (Cornell University)|Jan 17, 2019

Robotics and Sensor-Based Localization参考文献 32被引用数 4

ひとこと要約

本論文は、アクティブな操作中にロボットの運動学的知識を活用することで、RGBDデータから正確な3Dボクセルモデルを生成する、運動学的インフォームド・インタラクティブペルセプション（KIIP）というフレームワークを提案する。これにより、ごみだらけの環境における未知の物体のリアルタイム分類が可能になる。ロボットのポーズデータとマルチビュー観測を組み合わせることで、家庭用品では80%、新規のレゴ構造物では60%の分類精度を達成し、現実世界のロボティクス応用における効果的なゼロショットおよびフェイントショット学習を示している。

ABSTRACT

To be useful in everyday environments, robots must be able to observe and learn about objects. Recent datasets enable progress for classifying data into known object categories; however, it is unclear how to collect reliable object data when operating in cluttered, partially-observable environments. In this paper, we address the problem of building complete 3D models for real-world objects using a robot platform, which can remove objects from clutter for better classification. Furthermore, we are able to learn entirely new object categories as they are encountered, enabling the robot to classify previously unidentifiable objects during future interactions. We build models of grasped objects using simultaneous manipulation and observation, and we guide the processing of visual data using a kinematic description of the robot to combine observations from different view-points and remove background noise. To test our framework, we use a mobile manipulation robot equipped with an RGBD camera to build voxelized representations of unknown objects and then classify them into new categories. We then have the robot remove objects from clutter to manipulate, observe, and classify them in real-time.

研究の動機と目的

• 従来の受動的認知が失敗する、ごみが多く、部分的にしか観測できない現実世界の環境において、信頼性の高い3Dオブジェクトモデリングと分類を実現すること。
• ModelNet40に含まれるような、既存のトレーニングデータセットに存在しない完全に新しいオブジェクトカテゴリをロボットが学習・分類できることを可能にすること。
• ロボットの運動学的特性とアクティブな操作を活用して、ポーズ情報とマルチビュー観測を統合することで、3D再構成と分類の精度を向上させること。
• モバイル操作ロボットがRGBDセンシングを用いて、密度の高いごみの中から未知のオブジェクトを分離・観測・分類できる実用的でリアルタイムのフレームワークを開発すること。
• 運動学的インフォームドの視覚データ統合が、受動的または運動学的にガイドされていない方法よりも分類性能を向上させることを実証すること。

提案手法

• HSRというモバイル操作ロボットにRGBDカメラを装備し、把持されたオブジェクトの同時的な操作と観測を実行する。
• ジョイントエンコーダーからの運動学的情報を用いて、複数の2.5次元点群観測を統合し、1つの3Dボクセルグリッド表現にアライメントする。
• オブジェクトの回転や再配置中に複数の視点からの占有グリッドを合算することで、KIIPベースの3Dモデルを構築する。
• KIIPによって生成された3Dモデルを用いて、浅い3D畳み込みニューラルネットワーク（CNN）をトレーニングし、既知のカテゴリまたは新たに学習されたカテゴリにオブジェクトを分類する。
• 2段階のトレーニングアプローチを実装：まずModelNet40で事前トレーニングを行い、その後、ロボットが収集したKIIPデータで微調整する。
• リアルタイムでごみからのオブジェクト除去を実行し、その後KIIPに基づく観測と分類を実施することで、非構造的環境におけるインタラクティブな学習を模擬する。

実験結果

リサーチクエスチョン

• RQ1 アクティブな操作と視覚センシングを用いることで、ごみが多く、部分的にしか観測できない環境において、ロボットが信頼性の高い3Dオブジェクトモデルを生成できるか？
• RQ2 マルチビュー観測の運動学的インフォームド統合は、3D再構成とオブジェクト分類精度の向上にどの程度効果的か？
• RQ3 自己生成されたKIIPデータを用いて、事前トレーニング時に見られなかった完全に新しいオブジェクトカテゴリをロボットが分類できるか？
• RQ4 KIIPベースの分類性能は、受動的認知または運動学的にガイドされていないアクティブな認知と比較して、どのように差がつくか？
• RQ5 レゴ構造物のような、非伝統的で新しい形状のオブジェクトに対して、KIIPのグリップ回数が分類精度に与える影響は何か？

主な発見

• KIIPフレームワークは、ロボットが収集したKIIPデータのみでトレーニングされたネットワークを用いて、家庭用品で80%の分類精度を達成した。これは、自己教師あり3Dオブジェクト学習の可能性を示している。
• 新規のレゴ構造物に関しては、OL-E2Eネットワークが全トレーニング設定で全体で60%の分類精度を達成し、耐性と速度の両面で他のネットワークを上回った。
• OL-E2Eネットワークは、1つのGPUでわずか14秒のトレーニング時間で済み、テストされたモデルの中で最も高速かつ効率的だった。
• FG-OLおよびOL-E2Eネットワーク（両方ともKIIPデータでトレーニング）は、ModelNet40でのみトレーニングされたFGネットワークよりも、新規のレゴオブジェクトに対して顕著に優れた性能を示し、ロボットが生成したデータの少数ショット学習における価値を示している。
• 本手法は、密度の高いごみの中の未知のオブジェクトを、1つずつ取り除き、KIIPによる観測を行い、新たに学習されたカテゴリに割り当てるのを成功させた。
• 運動学的情報を用いることで、特徴マッチングや複雑な3D登録に依存せず、2.5次元点群の正確なアライメントと統合が可能になり、認知パイプラインの簡素化が達成された。