[論文レビュー] Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing

Jesse Haviland, Feras Dayoub+1 more|arXiv (Cornell University)|Jan 16, 2020

Advanced Vision and Imaging被引用数 8

ひとこと要約

本論文では、画像ベースのビジョサーボ（IBVS）を用いて、RGB-Dセンサの最小深度検出距離を超えて閉ループでの grasping 制御を拡張するスイッチング制御戦略を提案する。最後の有効な深度画像から目的画像特徴を予測し、SIFT特徴を用いて対応を強化することで、動く物体の信頼性の高い grasping を実現し、動的試行において76.25%の成功率を達成した。これはオープンループベースラインを著しく上回った。

ABSTRACT

This paper considers the final approach phase of visual-closed-loop grasping where the RGB-D camera is no longer able to provide valid depth information. Many current robotic grasping controllers are not closed-loop and therefore fail for moving objects. Closed-loop grasp controllers based on RGB-D imagery can track a moving object, but fail when the sensor's minimum object distance is violated just before grasping. To overcome this we propose the use of image-based visual servoing (IBVS) to guide the robot to the object-relative grasp pose using camera RGB information. IBVS robustly moves the camera to a goal pose defined implicitly in terms of an image-plane feature configuration. In this work, the goal image feature coordinates are predicted from RGB-D data to enable RGB-only tracking once depth data becomes unavailable -- this enables more reliable grasping of previously unseen moving objects. Experimental results are provided.

研究の動機と目的

• RGB-Dベースの grasping システムの閉ループ制御が、最小深度検出距離以内の物体に近づく際に失敗する問題に対処すること。
• 最終 grasping 階段における連続的な閉ループ制御を、RGB画像データのみを用いて実現すること。
• 物体モデルを必要とせず、最後の有効な深度画像とロボットエンドエフェクタの姿勢から、IBVSの目的画像特徴配置を予測する手法を開発すること。
• 動的環境下で事前に確認したことがない動く物体に対する grasping の信頼性を向上させること。

提案手法

• 最後の有効な深度画像、ロボットエンドエフェクタの姿勢、および grasping 合成器の出力を用いて、IBVSの目的画像特徴配置を予測する。
• IBVS中の特徴対応を強化するために、スケールおよび回転に不変なSIFT特徴を用いる。
• 最後の有効な深度測定値から得られる固定深度推定値を用いて、画像ジャコビアンを計算する。
• 物体がRGB-Dカメラの最小検出距離に進入した段階で、深度ベース制御からIBVSに切り替える。
• IBVSを用いて画像特徴を予測された目的配置へと駆動し、画像面上で直線的な運動を確保する。
• 19 ms/推論で動作するリアルタイムの grasping 合成器とIBVS制御器を統合する。

実験結果

リサーチクエスチョン

• RQ1 RGB-Dカメラの最小深度検出距離を超えて、IBVSを効果的に用いて閉ループ grasping 制御の範囲を拡張できるか？
• RQ2 1枚の深度画像とロボットの姿勢から、IBVSの目的画像特徴配置をどの程度正確に予測できるか？
• RQ3 動く物体に対して、最終 grasping 階段でIBVSを用いることで、オープンループ grasping に比べてどの程度性能が向上するか？
• RQ4 特徴の安定性と可視性は、IBVSに基づく grasping システムの信頼性にどのように影響するか？
• RQ5 動的環境下において、提案されたスイッチング制御戦略の主な失敗モードは何か？

主な発見

• 提案されたスイッチング制御器は、動く物体を対象とした動的 grasping 試行で76.25%の成功率を達成した。これはオープンループベースラインの0%の成功率を著しく上回った。
• IBVS制御器は、固定深度推定値を用いても、画像特徴を予測された目的配置へと効果的に駆動し、画像面上の軌道がほぼ直線に近い形状を示した。
• SIFT特徴ではバイナリ特徴に比べて特徴追跡ノイズが高かったが、システムは安定しており、一貫して目的に到達した。
• より大きな物体で、より明確なSIFT特徴を持つ物体では成功確率が高かったため、特徴の豊富さが性能向上に寄与することが示された。
• 主な失敗モードとして、高速に動く物体がカメラの視野外に出ること、および高回転速度による画像のぼやけが挙げられ、速度推定とフィードフォワード制御の導入が今後の課題であることが示唆された。
• モデルフリーな grasping 合成の利点を保ちつつ、最終 grasping 階殌における閉ループ制御を拡張でき、未確認の動く物体に対しても信頼性の高い grasping を実現した。