[論文レビュー] An Image Based Visual Servo Approach with Deep Learning for Robotic Manipulation

Jingshu Liu, Yuan Li|arXiv (Cornell University)|Sep 17, 2019

Advanced Vision and Imaging参考文献 17被引用数 7

ひとこと要約

本論文では、従来の特徴抽出およびヤコビ行列推定の代わりに2ストリーム畳み込みニューラルネットワーク（CNN）を用いた深層学習ベースの画像ベース視覚伺服（IBVS）手法を提案する。この手法は2次元画像差分を直接4自由度（4-DOF）ロボットアームの制御入力にマッピングする。本手法は、現在の画像と目的の画像のペアを用いて、非線形な画像空間からタスク空間へのマッピングを学習し、特徴量の明示的計算や解析的ヤコビ行列を一切用いずに、実験的に正確なポーズ整合性を達成する。

ABSTRACT

Aiming at the difficulty of extracting image features and estimating the Jacobian matrix in image based visual servo, this paper proposes an image based visual servo approach with deep learning. With the powerful learning capabilities of convolutional neural networks(CNN), autonomous learning to extract features from images and fitting the nonlinear relationships from image space to task space is achieved, which can greatly facilitate the image based visual servo procedure. Based on the above ideas a two-stream network based on convolutional neural network is designed and the corresponding control scheme is proposed to realize the four degrees of freedom visual servo of the robot manipulator. Collecting images of observed target under different pose parameters of the manipulator as training samples for CNN, the trained network can be used to estimate the nonlinear relationship from 2D image space to 3D Cartesian space. The two-stream network takes the current image and the desirable image as inputs and makes them equal to guide the manipulator to the desirable pose. The effectiveness of the approach is verified with experimental results.

研究の動機と目的

• 従来の画像ベース視覚伺服（IBVS）における手動による画像特徴抽出および解析的ヤコビ行列推定の課題に対処すること。
• 深層学習を用いて2次元画像空間から3次元デカルトタスク空間への非線形マッピングをエンドツーエンドで学習すること。
• 現在の画像と目的の画像を入力とする2ストリームCNNアーキテクチャを設計し、ロボットアームの運動を誘導すること。
• IBVSにおける手作業による特徴量や解析的モデルへの依存を排除し、より頑健で自動化された手法を実現すること。
• 4-DOFロボットアームを用いた実験的評価を通じて、ポーズ追従および整列タスクの遂行を検証すること。

提案手法

• 2ストリームCNNを設計し、現在の画像と目的のターゲット画像を同時に入力として処理する。
• ネットワークは、現在の画像と目的の画像の差分から、ロボットに必要な関節速度指令を非線形にマッピングする。
• 多様なアームポーズ設定下で収集した画像ペアを用いて、多様な視覚的観測を模擬するようにネットワークを学習させる。
• 損失関数は、予測画像と目的のターゲット画像のピクセル単位の差分を最小化することで、ロボットが目標ポーズに近づくように誘導する。
• 制御方式は、ネットワークの出力をリアルタイムにロボットの関節速度に直接反映する。
• 明示的な画像ヤコビ行列の計算を回避し、CNNが学習した表現にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、手作業による特徴設計を一切不要として、従来の特徴抽出を効果的に置き換えることができるか？
• RQ2 2ストリームCNNは、ロボット操作における2次元画像空間と3次元デカルトタスク空間の間の非線形関係をどの程度うまく学習できるか？
• RQ3 提案手法は、IBVSにおける解析的ヤコビ行列推定への依存度をどの程度低減できるか？
• RQ4 ネットワークは、異なる初期ポーズに一般化し、明示的な幾何モデリングなしに正確なポーズ収束を達成できるか？
• RQ5 エンドツーエンド学習アプローチは、古典的IBVSと比較して収束性および頑健性の面でどの程度優れているか？

主な発見

• 提案された深層学習ベースのIBVS手法は、明示的な特徴抽出やヤコビ行列計算を一切不要とせず、4-DOFの視覚伺服を成功裏に達成した。
• 2ストリームCNNは、画像差分を制御指令にマッピングする能力を学習し、最小限の人的介入で正確なロボットポーズ整列を実現した。
• 多様なポーズ設定での学習により、異なる初期位置および姿勢に対しても一般化が可能であることが確認された。
• 実験的評価において、安定した収束を示す頑健な性能を発揮した。
• 結果から、CNNによるエンドツーエンド学習が、視覚伺服における複雑な非線形な画像空間からタスク空間へのマッピングを効果的にモデル化できることを確認した。