[論文レビュー] Neuromorphic Vision Based Control for the Precise Positioning of Robotic Drilling Systems

Abdulla Ayyad, Mohamad Halwani+4 more|arXiv (Cornell University)|Jan 5, 2022

Advanced Surface Polishing Techniques被引用数 4

ひとこと要約

本論文は、非定型的で低照度な環境下でも0.1 mm未塔の位置決め精度を達成する、イベントベースのカメラを用いた神経形状ビジョンベースのロボットドリル制御システムを初めて提示する。本手法は、マルチビュー3D再構成とイベントベースの円形穴検出を組み合わせ、ハイブリッド位置ベースおよび画像ベースのビジョループ制御を採用し、照明条件や運動状態が変化する複数のワークピeceにおいて、平均位置誤差が0.1 mm未塔を達成した。

ABSTRACT

The manufacturing industry is currently witnessing a paradigm shift with the unprecedented adoption of industrial robots, and machine vision is a key perception technology that enables these robots to perform precise operations in unstructured environments. However, the sensitivity of conventional vision sensors to lighting conditions and high-speed motion sets a limitation on the reliability and work-rate of production lines. Neuromorphic vision is a recent technology with the potential to address the challenges of conventional vision with its high temporal resolution, low latency, and wide dynamic range. In this paper and for the first time, we propose a novel neuromorphic vision based controller for faster and more reliable machining operations, and present a complete robotic system capable of performing drilling tasks with sub-millimeter accuracy. Our proposed system localizes the target workpiece in 3D using two perception stages that we developed specifically for the asynchronous output of neuromorphic cameras. The first stage performs multi-view reconstruction for an initial estimate of the workpiece's pose, and the second stage refines this estimate for a local region of the workpiece using circular hole detection. The robot then precisely positions the drilling end-effector and drills the target holes on the workpiece using a combined position-based and image-based visual servoing approach. The proposed solution is validated experimentally for drilling nutplate holes on workpieces placed arbitrarily in an unstructured environment with uncontrolled lighting. Experimental results prove the effectiveness of our solution with an average positional errors of less than 0.1 mm, and demonstrate that the use of neuromorphic vision overcomes the lighting and speed limitations of conventional cameras.

研究の動機と目的

• 従来のフレームベースカメラの限界、特に照明変化への感受性と運動ブラーの問題を解決する。
• 制御不能な照明条件と動的環境下でも、正確でリアルタイムなロボットドリルを可能にする。
• 非同期イベントデータを用いた神経形状ビジョンパイプラインを構築し、3Dワークピeceの局所化とエンドエフェクタの位置決めを実現する。
• 本システムの耐障害性と精度を、実際のドリル作業において検証し、特に航空宇宙および自動車分野の重要な応用に適していることを示す。
• 神経形状ビジョンが高精度自動製造における信頼性のあるセンシング技術として実現可能であることを示す。

提案手法

• 本システムは二段階のセンシングを採用：まず、イベントベースカメラのデータからマルチビュー再構成を行い、ワークピeceの初期3Dポーズを推定する。
• 次に、新しいイベントベースの円形穴検出アルゴリズムが、輪郭フィッティングとモデルベース検出を用いて局所領域のポーズ推定を精緻化する。
• ハイブリッドビジョループ制御戦略として、粗いアライメントには位置ベースビジョループ制御（PBVS）、微調整には画像ベースビジョループ制御（IBVS）を組み合わせる。
• 神経形状カメラ（iniVation）は非同期イベントをキャプチャし、高時間分解能と低遅延を実現する。これは高速かつ正確な制御にとって不可欠である。
• ロボットシステムは、共同作業用ロボットアーム、独自設計のドリルエンドエフェクタ、およびイベントデータのリアルタイム処理による閉ループ制御を統合している。
• ピッグインホール機構により、被動的コンプライアンスが実現され、最終アライメント時の残存位置誤差をさらに低減する。

実験結果

リサーチクエスチョン

• RQ1 神経形状ビジョンは、制御不能な照明条件や高速運動下におけるロボットドリルにおいて、従来のフレームベースカメラの限界を克服できるか？
• RQ2 非同期イベントデータを用いた神経形状カメラからの二段階のセンシングパイプラインは、非同期イベントデータを用いて3Dでワークピeceを効果的に局所化できるか？
• RQ3 ハイブリッドPBVSとIBVS制御は、イベントベースのビジョループフィードバックを用いてロボットドリルで0.1 mm未塔の精度を達成できるか？
• RQ4 本システムは、実世界の非定型環境下でナットプレートの穴をドリルする際、位置誤差の観点でどの程度の性能を示すか？
• RQ5 共同作業用ロボットのコンプライアンスおよびピッグインホール機構は、どの程度位置誤差をさらに低減するか？

主な発見

• 提案された神経形状ビジョンベースのシステムは、5種類の異なるワークピeceにおける全テストナットプレート穴において、平均位置誤差が0.1 mm未塔を達成した。
• 全実験における最大位置誤差は0.183 mmであり、航空宇宙および自動車製造における精度要件を著しく満たしている。
• 本システムは、制御不能な照明条件と高速運動下でも、従来のフレームベースカメラの主な限界を克服する、高い耐障害性を示した。
• イベントベースの円形穴検出アルゴリズムは、低空間分解能と非同期データの下でも、高精度で基準穴を局所化できた。
• マルチビュー再構成と局所的精緻化の組み合わせにより、単一段階手法と比較して、ポーズ推定精度が著しく向上した。
• ピッグインホール段階における共同作業用ロボットの被動的コンプライアンスが、残存誤差をさらに低減させ、全体の精度を向上させた。