[論文レビュー] SegICP-DSR: Dense Semantic Scene Reconstruction and Registration

Jay Ming Wong, Syler Wagner+9 more|arXiv (Cornell University)|Nov 6, 2017

Robotics and Sensor-Based Localization参考文献 21被引用数 5

ひとこと要約

SegICP-DSR は、RGB-D データを意味的点群に統合し、視点に応じた CAD モデルのレイトレイティングを用い、密度の高い意味的 ElasticFusion 再構成を適用することで、ミリメートル単位のポーズ精度（7.9 mm、σ=7.6 mm）と度単位の姿勢精度（1.7°、σ=0.7°）を達成するリアルタイムで高密度な意味的シーン再構築およびポーズ推定システムであり、97% のポーズ推定成功率と 50 回中 48 回の高精度挿入を達成することで、非構造的環境における高精度なロボット操作を可能にする。

ABSTRACT

To enable autonomous robotic manipulation in unstructured environments, we present SegICP-DSR, a real- time, dense, semantic scene reconstruction and pose estimation algorithm that achieves mm-level pose accuracy and standard deviation (7.9 mm, σ=7.6 mm and 1.7 deg, σ=0.7 deg) and suc- cessfully identified the object pose in 97% of test cases. This represents a 29% increase in accuracy, and a 14% increase in success rate compared to SegICP in cluttered, unstruc- tured environments. The performance increase of SegICP-DSR arises from (1) improved deep semantic segmentation under adversarial training, (2) precise automated calibration of the camera intrinsic and extrinsic parameters, (3) viewpoint specific ray-casting of the model geometry, and (4) dense semantic ElasticFusion point clouds for registration. We benchmark the performance of SegICP-DSR on thousands of pose-annotated video frames and demonstrate its accuracy and efficacy on two tight tolerance grasping and insertion tasks using a KUKA LBR iiwa robotic arm.

研究の動機と目的

• 混雑した非構造的環境におけるロボット操作のための高精度ポーズ推定を達成する挑戦に応えること。
• 既存手法が約 1 cm のポーズ誤差で頭打ちになるという限界を克服し、ペグインホール挿入のような高精度タスクに不十分な誤差を回避すること。
• リアルタイムで高密度かつ意味的なシーン再構築を実現し、正確で分散が小さい 6-DOF 物体ポーズ推定を提供することで、記号的タスク計画と複雑な操作を支援すること。
• SegICP を改善し、ポーズ推定誤差を低減し、現実世界の困難なロボットタスクにおける成功確率を向上させること。

提案手法

• ElasticFusion を用いて深層意味的セグメンテーションを組み合わせ、RGB-D イメージのシーケンスを高密度で意味ラベルが付与された点群に統合する。
• 現在の観測幾何構造に適した視点固有の CAD モデルのレイトレイティングを用いて、カスタマイズされた候補点群を生成する。
• 反復的最近接点（ICP）アルゴリズムを用い、意味的対応メトリクスを導入したモデル対シーン再結合ステップを適用し、CAD モデルを再構築されたシーンに一致させる。
• 困難な条件下でも深層意味的セグメンテーションのロバスト性を向上させるために adversarial training を導入する。
• カメラの内部パラメータと外部パラメータの自動キャリブレーションを実装し、幾何的精度を向上させる。
• 再構築された点群の高密度かつ滑らかな出力を活用して、フレーム間のポーズ推定におけるノイズと分散を低減する。

実験結果

リサーチクエスチョン

• RQ1 高密度な意味的シーン再構築は、非構造的で混雑した環境における 6-DOF 物体ポーズ推定精度を顕著に向上させることができるか？
• RQ2 標準的な ICP アプローチと比較して、視点に応じた CAD モデルのレイトレイティングは、再結合精度をどの程度向上させるか？
• RQ3 意味的セグメンテーションと高密度再構築を統合することで、高精度挿入タスクにおけるポーズ推定の分散を低減し、成功確率を向上させることができるか？
• RQ4 閉ループフィードバックに依存せずに、リアルタイムで高精度なポーズ推定を達成できるか？これにより、複雑なシーンにおけるオープンループ操作が可能になるか？
• RQ5 自動カメラキャリブレーションと adversarial training が、システム全体のロバスト性と精度に及ぼす影響は何か？

主な発見

• SegICP-DSR は、ミリメートル単位の位置精度（平均 7.9 mm、σ=7.6 mm）と度単位の姿勢精度（平均 1.7°、σ=0.7°）を達成し、SegICP よりも 29% の精度向上を実現した。
• 数千フレームにわたるビデオフレームにおいて、物体ポーズ同定の成功率が 97% に達し、SegICP よりも 14% の増加を記録した。
• 高精度挿入タスク（ペグインホール）において、SegICP-DSR は 50 回中 48 回の成功を達成したのに対し、SegICP は 50 回中 27 回にとどまり、顕著な性能向上が確認された。
• ポーズ推定の分散は著しく低減された：ユークリッド標準偏差は SegICP の 4.37 mm から SegICP-DSR の 0.15 mm に、オイラー標準偏差は 1.42° から 0.03° に低下した。
• SegICP-DSR の高密度かつ滑らかな点群出力は、追加のフィルタリングなしにポーズ推定ノイズを inherently 減少させ、非常に安定したポーズ推定を実現した。
• システムは、ポーズ推定と逆運動学のみを用いて、オープンループでのグリップと挿入を成功させることができ、モーターサイクルのエンジンカバーに対して 20 回中 17 回のグリップが成功した。