[論文レビュー] X-Ray: Mechanical Search for an Occluded Object by Minimizing Support of Learned Occupancy Distributions

Michael Danielczuk, Anelia Angelova+2 more|arXiv (Cornell University)|Apr 20, 2020

Robot Manipulation and Learning参考文献 40被引用数 14

ひとこと要約

X-Rayは、混雑した山の中の隠れた標的オブジェクトを効率的に抽出するために、学習された占有分布のサポートを最小化する機械的探索アルゴリズムである。合成RGBDデータ上でニューラルネットワークを訓練し、標的オブジェクトの占有分布を予測することで、X-Rayはシミュレーションおよび現実世界の両設定でベースラインを上回り、シミュレーションで82%の成功率、物理実験で100%の成功率を達成した。平均して17%少ないアクション数で達成された。

ABSTRACT

For applications in e-commerce, warehouses, healthcare, and home service, robots are often required to search through heaps of objects to grasp a specific target object. For mechanical search, we introduce X-Ray, an algorithm based on learned occupancy distributions. We train a neural network using a synthetic dataset of RGBD heap images labeled for a set of standard bounding box targets with varying aspect ratios. X-Ray minimizes support of the learned distribution as part of a mechanical search policy in both simulated and real environments. We benchmark these policies against two baseline policies on 1,000 heaps of 15 objects in simulation where the target object is partially or fully occluded. Results suggest that X-Ray is significantly more efficient, as it succeeds in extracting the target object 82% of the time, 15% more often than the best-performing baseline. Experiments on an ABB YuMi robot with 20 heaps of 25 household objects suggest that the learned policy transfers easily to a physical system, where it outperforms baseline policies by 15% in success rate with 17% fewer actions. Datasets, videos, and experiments are available at https://sites.google.com/berkeley.edu/x-ray.

研究の動機と目的

• 標的オブジェクトが完全または部分的に遮蔽されている状況において、山の中から効率的に標的オブジェクトを特定・抽出する機械的探索ポリシーを開発すること。
• 構造的でない環境におけるロボットオブジェクト探索における、遮蔽と不確実性（認識および作動）の課題に対処すること。
• 現実世界のラベル付けを必要とせず、合成データから現実世界のロボットシステムに一般化可能なデータ駆動型ポリシーを構築すること。
• 占有分布を学習することで、グリップ選択をガイドするように、標的オブジェクトの抽出に必要なアクション数を削減すること。

提案手法

• 100,000枚のRGBD画像から成る合成データセットを用いて、1つの標的オブジェクトの占有分布がラベル付けされた山のデータセット上で深層ニューラルネットワークを訓練する。
• ネットワークを用いて、各ピクセルが標的オブジェクトの一部を含む確率を示すピクセル単位の占有分布を予測する。
• 予測された占有分布のサポート（面積）を最小化するようにアクションを選択するグリップポリシーを定式化し、標的を露出させるために必要なアクション数を削減する。
• 占有予測とセグメンテーションマスク、グリップ品質推定値を組み合わせてアクション選択をガイドし、正確なセグメンテーションへの依存度を低減する。
• 合成データから実画像への転移学習を用いて、シミュレーションおよび実際のABB YuMiロボット上でポリシーを適用する。
• 占有分布のサポートを小さくするアクションを優先する報酬ベースのメカニズムを用い、標的の露出を迅速化する。

実験結果

リサーチクエスチョン

• RQ1 学習された占有分布は、遮蔽された山環境における機械的探索を効果的にガイドできるか？
• RQ2 合成データ上で訓練されたポリシーは、実際のセンサデータを用いた現実世界のロボットシステムにどの程度一般化できるか？
• RQ3 占有分布のサポートを最小化することは、標的オブジェクト抽出におけるアクション数の削減と成功確率の向上に寄与するか？
• RQ4 さまざまな遮蔽レベル下で、X-Rayポリシーはベースラインポリシーと比べて、アクション効率および成功確率において優れているか？
• RQ5 この手法は、正確なセグメンテーションマスクや二値標的オブジェクト検出への依存度をどの程度低減できるか？

主な発見

• シミュレーションでは、15個のオブジェクトを含む1,000個の山から標的オブジェクトを抽出する際、X-Rayは82%の成功率を達成し、最良のベースラインより15%高い。
• 実際のABB YuMiロボットでは、25個の家庭用オブジェクトを含む20個の物理的山において、X-Rayは100%の成功率を達成し、ベースラインより15%高い成功率を示した。
• 物理実験では、X-Rayは標的オブジェクトを抽出するのに中央値5アクションを要し、ベースラインポリシーと比べて17%少ない。
• アクション数のばらつきが低く、すべての成功したロールアウトが10アクション以内に完了した一方、ベースラインは平均6アクションであった。
• X-Rayは、不正確なセグメンテーションマスクや部分的可視性に対しても頑健であり、標的が完全に遮蔽されていても性能を維持した。
• 合成データから現実世界への展開に成功し、実データでのファインチューニングを一切必要としなかった。