[論文レビュー] Visual Servoing from Deep Neural Networks

Quentin Bateux, Éric Marchand+3 more|arXiv (Cornell University)|May 24, 2017

Advanced Vision and Imaging参考文献 19被引用数 30

ひとこと要約

本論文では、1枚の基準画像から6自由度相対カメラポーズを推定するための微調整済み畳み込みニューラルネットワーク（CNN）を用いた、深層学習ベースのビジュアルサーボ法を提案する。これにより、強い照明変化や遮蔽が生じる状況下でも、ロバストでリアルタイムかつサブミリメートル精度のロボット位置決めが可能になる。本手法は、3D光源を用いたシミュレートされた照明変化や遮蔽を含む合成データ増強を活用し、高速な微調整と実世界のロボットタスクにおける高い精度を実現する。

ABSTRACT

We present a deep neural network-based method to perform high-precision, robust and real-time 6 DOF visual servoing. The paper describes how to create a dataset simulating various perturbations (occlusions and lighting conditions) from a single real-world image of the scene. A convolutional neural network is fine-tuned using this dataset to estimate the relative pose between two images of the same scene. The output of the network is then employed in a visual servoing control scheme. The method converges robustly even in difficult real-world settings with strong lighting variations and occlusions.A positioning error of less than one millimeter is obtained in experiments with a 6 DOF robot.

研究の動機と目的

• 実世界の摂動（遮蔽や照明変化など）に強く、6自由度ロボット操作のためのロバストでリアルタイムのビジュアルサーボシステムを開発すること。
• 特徴抽出やトラッキングに依存せずに、深層ニューラルネットワークを用いて高精度なポーズ推定（サブミリメートル精度）を実現すること。
• 大規模な実世界データセットの必要性を減らすために、1枚の基準画像と合成データ増強を用いて高速な微調整を可能とすること。
• 深層学習ベースのポーズ推定器を位置ベースビジュアルサーボ制御則に統合し、困難な条件下でも安定した収束を実現すること。

提案手法

• 事前学習済みCNN（当初は画像分類用）の最終分類層を回帰層に置き換え、6自由度相対ポーズを予測するように微調整する。
• 外部データセットからの整合性のある画像パッチを用いて、1枚の実世界画像から多様なカメラポーズ、3D光源による照明変化、遮蔽をシミュレートすることで合成データセットを生成する。
• ネットワークの訓練に、画像比較を直接行うための微分可能画像類似度指標（二乗誤差和、SSD）を損失関数として用いる。
• CNNのポーズ出力を位置ベースビジュアルサーボ制御則に統合し、リアルタイムの画像フィードバックを用いてロボットを所望のポーズへ誘導する。
• 訓練中にランダムな照明変化や動的遮蔽などのデータ増強技術を適用し、耐性を向上させる。
• 中程度のGPU上でオンライン推論を実行し、推論時間は50ms未満を維持しており、6自由度ロボットアームにおけるリアルタイム制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 豊富な再トレーニングを要せず、事前学習済みCNNを6自由度相対ポーズ推定に再利用できるか？
• RQ2 照明変化や遮蔽を含む合成データ増強は、実世界の摂動に対する耐性向上にどの程度有効か？
• RQ3 困難な視覚的条件下でも、深層学習ベースのビジュアルサーボシステムが6自由度ロボットセットアップでサブミリメートル精度を達成できるか？
• RQ4 明示的な特徴トラッキングが存在しない場合、突然の情報喪失（例：遮蔽）に対する耐性が向上するか？

主な発見

• 本手法は、実世界の6自由度ロボットゲンツリーにおいて、通常条件のもとでサブミリメートルの位置決め精度（1 mm未満）を達成した。
• 急激な遮蔽や照明変化といった強い摂動があっても、視覚的情報が回復すると、システムは速やかに収束を回復させた。
• 深刻な摂動下では累積的な並進誤差が最大10 cmまで上昇したが、状況が正常化すると再びサブミリメートルレベルに低下した。
• ネットワークの出力は、生の画像誤差（SSD）よりもノイズが少なく、一時的な摂動中でも安定的かつ信頼性の高いポーズ推定を示した。
• 再初期化や複雑なトラッキング回復機構を必要とせず、遮蔽や照明変化に対して耐性を示した。
• 中程度のGPU上での推論時間は常に50ms未満であり、データセットサイズに関係なく一定の計算コストを維持でき、リアルタイムのビジュアルサーボを実現した。