[論文レビュー] Affordance-Driven Next-Best-View Planning for Robotic Grasping

Xuechao Zhang, Dong Wang+8 more|arXiv (Cornell University)|Sep 18, 2023

Robot Manipulation and Learning被引用数 6

ひとこと要約

本稿では、幾何的再構築ではなく想像されたグリップ品質に基づいて観測視点を選択する、アフォーダンス駆動型の次善の視点計画フレームワークACE-NBVを提案する。非表示の新規視点合成に暗黙的ニューラル表現を活用し、視点に適したグリップアフォーダンスモジュールを用いることで、シミュレーションで83%のグリップ成功を達成し、困難な現実世界のシーンでも5/5の成功を記録した。ベースラインより少ない視点数で実現した。

ABSTRACT

Grasping occluded objects in cluttered environments is an essential component in complex robotic manipulation tasks. In this paper, we introduce an AffordanCE-driven Next-Best-View planning policy (ACE-NBV) that tries to find a feasible grasp for target object via continuously observing scenes from new viewpoints. This policy is motivated by the observation that the grasp affordances of an occluded object can be better-measured under the view when the view-direction are the same as the grasp view. Specifically, our method leverages the paradigm of novel view imagery to predict the grasps affordances under previously unobserved view, and select next observation view based on the highest imagined grasp quality of the target object. The experimental results in simulation and on a real robot demonstrate the effectiveness of the proposed affordance-driven next-best-view planning policy. Project page: https://sszxc.net/ace-nbv/.

研究の動機と目的

• 重い遮蔽により単一視点の認識が失敗する混雑した環境における、遮蔽された物体のグリッピングという課題に対処すること。
• 従来の次善の視点手法が幾何的再構築を優先するのに対し、グリップアフォーダンスの向上を重視しないという限界を克服すること。
• 視覚的認識のためのヒューマンライクな空間的推論能力をロボットシステムに与え、グリップ品質予測を最大化する観測視点を選択できること。
• 新規視点合成とグリップアフォーダンス予測を統合した包括的なフレームワークを構築し、ロボット操作における能動的認識を実現すること。

提案手法

• 物体の幾何と対象間の遮蔽関係を活用して、遮蔽されたターゲットに対するグリップ合成を向上させる視点に適したグリップアフォーダンス予測モジュールを導入する。
• NeRFに類似た学習パラダイムを採用し、暗黙的ニューラル表現が未観測視点から新規シーンの視点を生成できるようにする。
• 想像された新規視点を用いて、視点に適したモジュールで複数の候補グリップ方向のグリップアフォーダンスを予測する。
• 予測されたグリップ品質の向上が最大となる視点を選択する次善の視点計画ポリシーを設計する。
• グリップ成功を最適化するとともに、必要な観測回数を最小限に抑えるために、モデルをエンドツーエンドで訓練する。
• 7自由度のPandaアームを用いた現実世界でのデプロイを想定し、フレームワークをロボット操作パイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 想像されたグリップアフォーダンス品質に基づく視点選択が、幾何的再構築に基づく従来手法に比べ、遮蔽グリッピングタスクで優れているか？
• RQ2 暗黙的ニューラル表現による新規視点の合成が、遮蔽された物体のグリップ予測を向上させるために効果的か？
• RQ3 視点に適したグリップアフォーダンスモジュールは、標準的な幾何的または外観ベースのベースラインに比べ、グリップ品質予測を向上させるか？
• RQ4 提案されたACE-NBVフレームワークは、最小限の観測ステップで現実世界の混雑した環境で高いグリップ成功率を達成できるか？

主な発見

• シミュレーションではACE-NBVが83%のグリップ成功率（SR）を達成し、次善のベースライン（Breyer’s [4]）の81%、SOTAのGIGAの79%を上回った。
• 現実世界の実験では、最も困難なシーン（シーン1）でACE-NBVは5/5の成功を記録した。Breyer’s [4]（3/5）とGIGA（3/5）を上回り、視点数も少ない。
• 平均視点数はシミュレーションで2.97にまで減少し、Breyer’s [4]の4.31に比べ、観測計画がより効率的であることを示した。
• アブレーションスタディの結果、新規視点合成ブランチを削除するとSRが80%に低下し、幾何的およびレイベース特徴を削除すると74%に低下した。これにより、これらの要素の重要性が確認された。
• 現実世界の試行では、ACE-NBVは1タスクあたり平均2.6～3.4視点を用いており、固定軌道ベースライン（4.0視点）に比べ顕著に少ない。SOTA手法と同等の性能を示した。
• 本フレームワークは多様な物体形状や遮蔽度においても安定した性能を示し、物体が重度に遮蔽されていても一貫した性能を維持した。