[論文レビュー] GlassLoc: Plenoptic Grasp Pose Detection in Transparent Clutter

Zheming Zhou, Tianyang Pan+3 more|arXiv (Cornell University)|Sep 10, 2019

Robot Manipulation and Learning参考文献 27被引用数 5

ひとこと要約

GlassLocは、複数の視点の光場画像を用いて、ごみだらけの環境における透明物体のグリッパーサイズのポーズ検出を可能にする、光場ベースのグリッピングポーズ検出システムを提案する。部分的アパーチャー画像から深度尤度ボリューム（DLV）を構築することで、透明物体の占有状態を推定し、正確な6自由度グリッピングポーズ検出を実現した。本手法は、わずかなごみがある状況下で5種類のガラス器に対して220回のグリッピング試行において81%の成功率を達成した。

ABSTRACT

Transparent objects are prevalent across many environments of interest for dexterous robotic manipulation. Such transparent material leads to considerable uncertainty for robot perception and manipulation, and remains an open challenge for robotics. This problem is exacerbated when multiple transparent objects cluster into piles of clutter. In household environments, for example, it is common to encounter piles of glassware in kitchens, dining rooms, and reception areas, which are essentially invisible to modern robots. We present the GlassLoc algorithm for grasp pose detection of transparent objects in transparent clutter using plenoptic sensing. GlassLoc classifies graspable locations in space informed by a Depth Likelihood Volume (DLV) descriptor. We extend the DLV to infer the occupancy of transparent objects over a given space from multiple plenoptic viewpoints. We demonstrate and evaluate the GlassLoc algorithm on a Michigan Progress Fetch mounted with a first-generation Lytro. The effectiveness of our algorithm is evaluated through experiments for grasp detection and execution with a variety of transparent glassware in minor clutter.

研究の動機と目的

• 透明なごみ環境において、深度センサが機能しない理由から生じるロボットの認識と操作の課題に対処すること。
• 従来のRGB-Dセンシングの限界を克服し、より良い深度推定を実現するため、光場画像を活用して透明物体の検出を向上させること。
• 複数の視点の光場観測から、透明物体の占有状態をモデル化するための一般化された方法で、深度尤度ボリューム（DLV）を構築すること。
• DLVに基づくグリッピングポーズ検出を、現実のごみ混じり環境でのピックアンドプレースタスク用の完全なロボット操作パイプラインに統合すること。
• 多様な透明ガラス器を用いた、孤立した状況および重なり合うごみ混じりの構成において、優れた性能を示すことを実証すること。

提案手法

• ロボットエンドエフェクタに取り付けた第1世代のLytro光場カメラを用いて、複数の視点の光場観測を取得する。
• ノイズの多い端縁画像を除外することで、深度推定の品質を向上させるために、生の光場データから7×7の部分的アパーチャー画像を抽出する。
• 多方向光線統合と反射抑制を用いて、空間全体の深度尤度を表す3次元ボクセルグリッドとして、深度尤度ボリューム（DLV）を構築する。
• グリッパーの幾何学的特性に基づいてDLV内でグリッピング候補をサンプリングし、それらを評価のための世界座標系に変換する。
• 各グリッピング候補の周囲のDLVボリュームから9チャンネルのグレースケール画像特徴を抽出し、2クラス（グリッピング可能 vs. グリッピング不可）の分類にLeNetベースのCNNを用いる。
• 並進（10⁻⁴ m²）と回転（0.03 rad²）の共分散パラメータを用いて、100個のパーティクルと100回の反復を用いたパーティクルフィルタリングにより、グリッピングポーズ推定値を最適化する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深度センサが機能しないごみ混じりの環境において、光場センシングが透明物体のグリッピング可能なポーズを効果的に検出できるか？
• RQ2 光場データから構築された複数視点の深度尤度ボリューム（DLV）は、3次元空間における透明物体の占有状態をどの程度正確に表現できるか？
• RQ3 DLV特徴に基づく学習済みグリッピング分類器は、わずかなごみがある状況下で、さまざまな透明ガラス器にどの程度一般化可能か？
• RQ4 GlassLocを統合した完全なロボット操作パイプラインは、現実のテーブルトップピックアンドプレースタスクにおいてどの程度の性能を示すか？
• RQ5 物体の幾何学的形状とグリッパー設計は、透明なごみ環境におけるグリッピング成功確率にどの程度の影響を及ぼすか？

主な発見

• GlassLocシステムは、8つの複雑な透明ごみのシーンにおいて、合計220回のグリッピング試行で全体で81%のグリッピング成功率を達成した。
• ほとんどのシーンでは、シーン固有のグリッピング成功率が75%を超えた。2つのシーンでは、それぞれ100%および85%の成功率を達成した。
• ワインカップは92%（60回の試行）の最高成功率を記録したが、ショートカップは65%（40回の試行）で最低の成功率を示した。これは、急角度に傾いた表面と力フィードバックの欠如に起因するとされた。
• スプーンは70%の成功率を示し、細長い低プロファイルの透明物体に対する課題を示した。
• DLV構築プロセスは、最適化されていないMATLABコードを用いて、1視点あたり約10分を要した。光場デコードと光線対応がパフォーマンスのボトルネックと特定された。
• シーン（g）では、ピックアンドプレースタスクが100%成功した。これは、最大4つの重なり合う透明物体を含むシーンでも、システムが堅牢に動作したことを示している。