[論文レビュー] Robust Keypoint Detection and Pose Estimation of Robot Manipulators with Self-Occlusions via Sim-to-Real Transfer.

Jingpei Lu, Florian Richter+1 more|arXiv (Cornell University)|Oct 15, 2020

Advanced Vision and Imaging参考文献 24被引用数 8

ひとこと要約

本論文では、シミュレーションから実世界への転送（sim-to-real transfer）を用いて、マーカーレスなポーズ推定のためのロボットアームのキーポイント位置を自動的かつ反復的に最適化する手法を提案する。シミュレータから得られる合成データとドメインランダマイゼーションを活用することで、自己遮蔽下でもディープラーニングベースの検出性能が向上し、カメラからロボットへのキャリブレーションや全アームのポーズ推定といった実世界の応用においても高精度を実現する。

ABSTRACT

Keypoint detection is an essential building block for many robotic applications like motion capture and pose estimation. Historically, keypoints are detected using uniquely engineered markers such as checkerboards, fiducials, or markers. More recently, deep learning methods have been explored as they have the ability to detect user-defined keypoints in a marker-less manner. However, deep neural network (DNN) detectors can have an uneven performance for different manually selected keypoints along the kinematic chain. An example of this can be found on symmetric robotic tools where DNN detectors cannot solve the correspondence problem correctly. In this work, we propose a new and autonomous way to define the keypoint locations that overcomes these challenges. The approach involves finding the optimal set of keypoints on robotic manipulators for robust visual detection. Using a robotic simulator as a medium, our algorithm utilizes synthetic data for DNN training, and the proposed algorithm is used to optimize the selection of keypoints through an iterative approach. The results show that when using the optimized keypoints, the detection performance of the DNNs improved so significantly that they can even be detected in cases of self-occlusion. We further use the optimized keypoints for real robotic applications by using domain randomization to bridge the reality gap between the simulator and the physical world. The physical world experiments show how the proposed method can be applied to the wide-breadth of robotic applications that require visual feedback, such as camera-to-robot calibration, robotic tool tracking, and whole-arm pose estimation.

研究の動機と目的

• 対称的なロボットアームにおいて、ディープラーニングを用いたキーポイント検出の性能が一貫しないという課題に取り組むこと。
• 手動で設計されたマーカーに依存しないように、最適なキーポイント配置を自律的に特定すること。
• シミュレーション内での反復的最適化プロセスにより、自己遮蔽下でも検出の耐性を高めること。
• ドメインランダマイゼーションを用いて、実世界への展開を可能にするシミュレーションと実世界のギャップを埋めること。
• ツール追跡や全アームのポーズ推定といった汎用的なビジュアルフィードバック応用を可能にすること。

提案手法

• ロボットシミュレータを用いて、キーポイント検出のためのディープニューラルネットワーク（DNN）の学習に適した合成データを生成する。
• キネマティックチェーンに沿って、最も特徴的で耐性のあるキーポイント位置を自動的に選択する反復的最適化アルゴリズムを採用する。
• 訓練中にドメインランダマイゼーションを適用し、実世界のドメインシフトを模擬することで一般化性能を向上させる。
• 多様な視認条件における検出信頼度と対応の正確性に基づいてキーポイント選定を最適化する。
• 実世界のロボットシステムへの転送前に、シミュレーション内で最適化されたキーポイントセットを検証する。
• 最終的なキーポイント構成を、ポーズ推定やカメラからロボットへのキャリブレーションといった後続タスクに使用する。

実験結果

リサーチクエスチョン

• RQ1 自動化された手法が、ロボットアームのDNNベースのキーポイント検出性能を著しく向上させるようなキーポイント配置を特定できるか？
• RQ2 提案手法による最適化が、手動で選択されたキーポイントと比較して、自己遮蔽下での検出耐性をどの程度向上させるか？
• RQ3 ドメインランダマイゼーションが、実際のロボットシステムにおけるキーポイント検出のシミュレーションと実世界のギャップをどの程度縮小できるか？
• RQ4 最適化されたキーポイントセットは、ビジュアルフィードバックを必要とする多様なロボット応用に再利用可能か？

主な発見

• 提案手法は、特に対称的かつ自己遮蔽状態にある構造において、全関節でキーポイント検出性能が著しく向上した。
• 最適化されたキーポイントセットにより、アームの一部が他の部品に遮蔽されても、信頼性の高い検出が可能になった。
• ドメインランダマイゼーションが、シミュレーションと実世界のギャップを効果的に低減し、物理的ロボット上へのDNNの正常なデプロイを可能にした。
• 最適化されたキーポイントは、高精度な全アームのポーズ推定を可能にし、カメラからロボットへのキャリブレーションやツール追跡といった実世界の応用を支援した。
• 多様な視認角度において、検出の一貫性と対応の正確性の両面で、手動で選択されたキーポイントを上回る性能を示した。