[論文レビュー] Inferring Occluded Geometry Improves Performance when Retrieving an Object from Dense Clutter

Andrew Price, Linyi Jin+1 more|arXiv (Cornell University)|Jul 20, 2019

Robotics and Sensor-Based Localization被引用数 7

ひとこと要約

本論文では、深層学習に基づく形状補完ネットワークとボリュメトリックメモリーシステムを、密集したごみの中での遮蔽された物体の幾何形状を推定するための操作計画フレームワークに統合することを提案する。隠れた物体の形状と以前に観測された自由空間を推論することで、目的の物体を回収するためのアクション数を削減し、CADモデルやラベル付きデータに依存せずに、特に重度に遮蔽されたシーンにおいて統計的に有意な性能向上を達成した。

ABSTRACT

Object search -- the problem of finding a target object in a cluttered scene -- is essential to solve for many robotics applications in warehouse and household environments. However, cluttered environments entail that objects often occlude one another, making it difficult to segment objects and infer their shapes and properties. Instead of relying on the availability of CAD or other explicit models of scene objects, we augment a manipulation planner for cluttered environments with a state-of-the-art deep neural network for shape completion as well as a volumetric memory system, allowing the robot to reason about what may be contained in occluded areas. We test the system in a variety of tabletop manipulation scenes composed of household items, highlighting its applicability to realistic domains. Our results suggest that incorporating both components into a manipulation planning framework significantly reduces the number of actions needed to find a hidden object in dense clutter.

研究の動機と目的

• 物体が遮蔽されており、可視性に欠ける密集した環境における物体回収の課題に対処すること。
• 家庭のような非構造的環境では現実的でないCADモデルやラベル付き画像に依存する既存の物体検索システムの限界を克服すること。
• 形状補完によって遮蔽された幾何形状を推定し、自由空間および遮蔽された形状の記憶を維持することで、操作計画の効率が向上するかを調査すること。
• 遮蔽された物体の幾何形状と過去の観測を考慮した推論を用いて、密集したシーンにおけるアクション選択を向上させるフレームワークを開発・評価すること。

提案手法

• 本システムは、既知の自由空間ボリュームを活用して、部分的に観測されたシーンにおける再構成精度を向上させるための深層ニューラルネットワークを用いる。
• ボリュメトリックメモリーシステムは、以前に観測された物体の形状と自由空間を格納・追跡し、時間経過に伴って遮蔽領域を推論できるようにする。
• 操作計画モジュールは、RGBD画像のボリュメトリックセグメンテーションを基に動作し、モーションプリミティブを用いてアクションを選択・実行する。
• 形状補完は、部分的にしか見えない物体の完全な幾何形状を推定することで、アクション選択の曖昧さを低減する。
• 本フレームワークは、形状補完とメモリを計画ループ内に統合し、推定された遮蔽された幾何形状に基づいてアクションを優先順位付けできるようにする。
• 本システムは、8つのテーブルトップシーン（クラターレベルが異なる）で182回の実験を実施したバイマンジュアルロボット環境で評価された。

実験結果

リサーチクエスチョン

• RQ1 形状補完を操作計画フレームワークに統合することで、密集したごみの中での目的物体の回収に必要なアクション数が減少するか？
• RQ2 以前に観測された自由空間および遮蔽された物体の幾何形状を追跡するメモリーシステムは、物体検索タスクのパフォーマンスを向上させられるか？
• RQ3 実世界の密集した環境に適用した場合、遮蔽されたシーンにおける形状補完の性能は、先行手法と比較してどうなるか？
• RQ4 形状補完とメモリの組み合わせにより、多様な密集したシーンにおいて、統計的に有意なアクション効率の向上が達成されるか？

主な発見

• D1-D3のような密集したシーンでは、形状補完とメモリを併用した完全なフレームワークにより、平均アクション数が5.364から3.300に削減され、t統計量は2.6、p値は0.012となり、強い統計的有意性が示された。
• Bシーンでは、ターゲットが大きな遮蔽ボックスに囲まれた小さなシリンダーの後ろに隠れていたが、拡張されたシステムは約半数の試行で最初に正しい物体（シリンダー）を動かす選択をし、2回のアクションで最適な回収を達成した。
• メモリーシステム単体でも顕著な性能向上が見られ、Aシーンではベースラインの平均4.000から2.455に減少し、t統計量は5.8、p値は0.00002となった。
• 形状補完単体でも、Bシーンではベースライン（平均アクション数：5.400）に対して改善が見られ（平均：3.300）、p値が0.056と僅かに有意であったため、中程度の効果であるが意味のある影響があると考えられる。
• 完全なフレームワークは、スパarsely clutteredなシーン（C1およびC3）でも顕著な改善を示したが、C2ではわずかな劣化が見られた。これは、パフォーマンス向上が文脈依存であり、特に遮蔽度の高い状況で顕著であることを示している。
• 完全なフレームワークの計算時間は、アクション選択（7.32秒）と実行（34.98秒）が主な負荷を占めており、形状補完による追加時間はわずか1.67秒にとどまり、主要なコンponentsに低オーバーヘッドであることが示された。