[論文レビュー] Learning Markerless Robot-Depth Camera Calibration and End-Effector Pose Estimation

Bugra C. Sefercik, Barış Akgün|arXiv (Cornell University)|Dec 15, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

この論文では、シミュレーションやフィクスチャルマーカーを一切使用せずに、実世界のデータのみを用いてロボットアームと深度カメラ間の外部キャリブレーションを学習ベースで行うマーカーレスな手法を提案する。深層学習を用いたエンドエフェクタースケーリング分離、回転予測、キーポイント検出とICPのリファイン、マルチフレーム融合を組み合わせることで、1cm未満および1度未満の精度を達成し、高精度なキャリブレーションを実現。単一のトレーニングポーズで十分な性能を発揮する。

ABSTRACT

Traditional approaches to extrinsic calibration use fiducial markers and learning-based approaches rely heavily on simulation data. In this work, we present a learning-based markerless extrinsic calibration system that uses a depth camera and does not rely on simulation data. We learn models for end-effector (EE) segmentation, single-frame rotation prediction and keypoint detection, from automatically generated real-world data. We use a transformation trick to get EE pose estimates from rotation predictions and a matching algorithm to get EE pose estimates from keypoint predictions. We further utilize the iterative closest point algorithm, multiple-frames, filtering and outlier detection to increase calibration robustness. Our evaluations with training data from multiple camera poses and test data from previously unseen poses give sub-centimeter and sub-deciradian average calibration and pose estimation errors. We also show that a carefully selected single training pose gives comparable results.

研究の動機と目的

• フィクスチャルマーカーやシミュレーションデータに依存しないロボット-深度カメラ外部キャリブレーションの実現。
• トレーニング用の自動的で自己教師ありラベル付けが可能な、実世界データ収集のための仕組みの構築。
• 深度データと深層学習のみを用いて、高精度なエンドエフェクターポーズ推定とキャリブレーションを実現。
• 動的または低コストなロボットシステムに適した、耐障害性に富んだ再利用可能なキャリブレーションシステムの開発。

提案手法

• 深度点群からのエンドエフェクタ、ロボット、背景のセマンティックセグメンテーションに、MinkUNet18Dベースのネットワークを採用。
• 回転予測ヘッドを用いて、変換のトリックを活用し、6-DoFポーズを回転予測から導出。
• キーポイント検出ネットワークがエンドエフェクタ上の3次元ランドマークを特定し、ポーズ推定には直交プロクラステス解析（RPT）を用いる。
• マルチフレームのポーズ推定値を反復最適化最近接点法（ICP）を用いて統合し、キャリブレーションのリファインとノイズ低減を実現。
• 外れ値検出とフィルタリングを適用し、多様なカメラポーズや環境条件下でも耐障害性を向上。
• ロボットをさまざまな関節配置に移動させることで、トレーニングデータを自動収集。初期キャリブレーションはデータ収集のためのものに限定。

実験結果

リサーチクエスチョン

• RQ1 フィクスチャルマーカーとシミュレーションを一切使用しないシステムが、ロボットと深度カメラ間の高精度な外部キャリブレーションを達成できるか？
• RQ2 合成データを一切使用せず、実世界データのみで、未観測のカメラポーズにも一般化可能なモデルを学習可能か？
• RQ3 マルチフレームICPリファインは、キャリブレーションの耐障害性と精度をどのように向上させるか？
• RQ4 複数のトレーニングポーズではなく、1つのトレーニングポーズのみで、同等のキャリブレーション性能を達成できるか、その程度は？
• RQ5 深度データのみを用いて、エンドエフェクタのセグメンテーションとポーズ推定を同時に高精度に学習可能か？

主な発見

• 複数のテストポーズにおいて、平均で0.74 cmおよび1.69°のキャリブレーション誤差を達成。未確認のカメラ配置でも同様の精度を示した。
• エンドエフェクターポーズ推定では平均1.0 cmおよび2.74°の誤差を達成し、リアルタイムでの高精度なポーズ推定を実証。
• 適切に選択された1つのトレーニングポーズで、複数ポーズトレーニングと同等のキャリブレーション性能を達成可能であり、セットアップの複雑さが著しく低下。
• ICPアルゴリズムの導入により、推定性能が顕著に向上し、使用した深度カメラの物理的限界に近い結果を達成。
• ロボットおよびエンドエフェクタの高品質なセマンティックセグメンテーションを生成し、後続の周辺認識タスクに貢献。
• 初期キャリブレーションが正確で、前向きキネマティクスの誤差を適切に補正していれば、センサーノイズや機械的誤差に対しても耐障害性を示した。