[論文レビュー] High-level Reasoning and Low-level Learning for Grasping: A Probabilistic Logic Pipeline

Laura Antanas, Plínio Moreno+5 more|arXiv (Cornell University)|Nov 4, 2014

Robot Manipulation and Learning参考文献 50被引用数 6

ひとこと要約

本論文は、タスク依存的ロボットグリップを実現するため、高レベルの記号的推論と低レベルの視覚的学習を統合する確率的論理パイプラインを提案する。オブジェクトタスクオントロジーとアフォーダンスを活用することで、局所的な形状特徴を学習して正確なグリップポイントを予測する前に、最適なグリップ可能な部分について推論する。これにより、直接的な視覚的特徴からグリップへのマッピング手法と比較して、新規のオブジェクトやタスクにおける頑健性と一般化性能が著しく向上する。

ABSTRACT

While grasps must satisfy the grasping stability criteria, good grasps depend on the specific manipulation scenario: the object, its properties and functionalities, as well as the task and grasp constraints. In this paper, we consider such information for robot grasping by leveraging manifolds and symbolic object parts. Specifically, we introduce a new probabilistic logic module to first semantically reason about pre-grasp configurations with respect to the intended tasks. Further, a mapping is learned from part-related visual features to good grasping points. The probabilistic logic module makes use of object-task affordances and object/task ontologies to encode rules that generalize over similar object parts and object/task categories. The use of probabilistic logic for task-dependent grasping contrasts with current approaches that usually learn direct mappings from visual perceptions to task-dependent grasping points. We show the benefits of the full probabilistic logic pipeline experimentally and on a real robot.

研究の動機と目的

• 高レベルの世界知識と低レベルの視覚的認識を統合することで、タスク依存的ロボットグリップの課題に取り組む。
• 直接的な視覚的特徴からグリップへのマッピングの限界を克服するため、グリップ可能なオブジェクト部分に関する意味的推論を行う中間の確率的論理モジュールを導入する。
• 記号的部品ベースの表現とオントロジー知識を用いることで、新規のオブジェクトやタスクへの一般化を可能にする。
• 確率的推論と世界知識を組み合わせることで、不確実性や情報欠如下でもグリップの頑健性を向上させる。
• 実ロボットハードウェア上でのパイプラインの有効性を、さまざまなタスクの複雑さとオブジェクトの種類の範囲で示す。

提案手法

• ポイントクラウドから記号的オブジェクト部品（例：上面、ハンドル、中央部）を抽出し、k近傍近傍グラフを用いてラベル付けする視覚ベースの手法を用いる。
• 多様体に基づくグラフカーネルを用いてオブジェクトカテゴリの類似度を推定し、オブジェクトカテゴリ（例：コップ、サイダー缶、鍋）の事前確率を推定する。
• オブジェクトタスクのアフォーダンスとオントロジーを符号化した確率的論理モジュールを用い、最も可能性の高いオブジェクトカテゴリ、タスク、最適なプレグリップ部品を推論する。
• タスク制約（例：注ぐ、持ち上げて置く）と世界知識（例：満タンの物体は注げない）を論理モジュールに統合し、グリップ予測を精緻化する。
• 部品固有の視覚的特徴に基づいて、プレグリップ領域内の最良のグリップポイントを予測する局所的形状ベースのグリッピングモデルを学習する。
• 論理モジュールの出力（最良のプレグリップ部品）と局所的形状モデルを統合し、最終的なタスクに適したグリップポイント予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト部品とタスクについて記号的推論を行う確率的論理パイプラインは、直接的な視覚的特徴からグリップへのマッピングと比較して、グリップ成功確率を向上させることができるか？
• RQ2 オブジェクトタスクオントロジーとアフォーダンスを統合することで、新規のオブジェクトおよびタスクカテゴリへの一般化はどの程度向上するか？
• RQ3 タスク依存的推論は、グリップポイントの探索空間をどの程度縮小し、視覚的不確実性下でも頑健性を向上させるか？
• RQ4 オブジェクトカテゴリ情報が欠落またはノイズ混在している状況下でパイプラインはどのように動作し、信頼性のあるグリップ予測を生成できるか？
• RQ5 視覚的グリップ可能性スコアが低いが、タスク成功確率が高いグリップポイントの選定において、タスク制約が果たす影響は何か？

主な発見

• 完全な確率的論理パイプラインは、S_GRASP_noisyデータセットにおいて、視覚的グリップ可能性確率が0.5未満のグリップポイントで52.38%の成功率を達成した。これは局所的形状ベースのベースライン（44.55%）を上回った。
• オブジェクトカテゴリの事前確率を除去した（パイプライン一様）状態でも、視覚的グリップ可能性が低いポイントで50%の成功率を達成した。これはカテゴリ情報欠如下でも頑健であることを示している。
• S_ROBOTデータセットでは、単純なシナリオ（シナリオ1）で77.8%のグリップ成功率、中程度の複雑さ（シナリオ2）で70%、複雑な複数オブジェクトシナリオ（シナリオ3）で50%の成功率を達成した。複雑さが増すと20%の性能低下を示した。
• パイプラインは、局所的形状モデルよりも、視覚的グリップ可能性が低い（例：0.3未満の）グリップポイントをより多く選択しながらも、実際に成功に至らせた。これは、タスク制約がグリップ確率推定において重要な役割を果たしていることを確認している。
• オントロジーやアフォーダンスによる世界知識の統合は、視覚的手がかりが曖昧または不完全な状況でも、グリップ予測の正確性を著しく向上させた。
• タスク、プレグリップ、グリップポイント予測におけるデータの摂動下でも、システムは一貫した性能変化を示した。これは、パイプラインの推論においてカテゴリ的およびタスク情報が果たす重要な役割を示している。