[論文レビュー] Sim2Real View Invariant Visual Servoing by Recurrent Control

Fereshteh Sadeghi, Alexander Toshev+2 more|arXiv (Cornell University)|Dec 20, 2017

Advanced Vision and Imaging参考文献 32被引用数 44

ひとこと要約

本論文では、過去の行動と観測の記憶を通じて自己自己キャリブレーションを学習する再帰的深層ニューラルネットワークコントローラーを提案し、シミュレーションで訓練し、最小限の実世界データでのファインチューニングにより、視点不変なビジョナルサーボイングを実現する。この手法は、未知の視点で未確認の物体を対象とした実世界の到達タスクで70.83%の成功を達成し、明示的なキャリブレーションなしに強い汎化性能を示した。

ABSTRACT

Humans are remarkably proficient at controlling their limbs and tools from a wide range of viewpoints and angles, even in the presence of optical distortions. In robotics, this ability is referred to as visual servoing: moving a tool or end-point to a desired location using primarily visual feedback. In this paper, we study how viewpoint-invariant visual servoing skills can be learned automatically in a robotic manipulation scenario. To this end, we train a deep recurrent controller that can automatically determine which actions move the end-point of a robotic arm to a desired object. The problem that must be solved by this controller is fundamentally ambiguous: under severe variation in viewpoint, it may be impossible to determine the actions in a single feedforward operation. Instead, our visual servoing system must use its memory of past movements to understand how the actions affect the robot motion from the current viewpoint, correcting mistakes and gradually moving closer to the target. This ability is in stark contrast to most visual servoing methods, which either assume known dynamics or require a calibration phase. We show how we can learn this recurrent controller using simulated data and a reinforcement learning objective. We then describe how the resulting model can be transferred to a real-world robot by disentangling perception from control and only adapting the visual layers. The adapted model can servo to previously unseen objects from novel viewpoints on a real-world Kuka IIWA robotic arm. For supplementary videos, see: https://fsadeghi.github.io/Sim2RealViewInvariantServo

研究の動機と目的

• 明示的なキャリブレーションなしに、未知の視点や未確認の物体に対してもロボットビジョナルサーボイングの汎化を可能にすること。
• 大規模な視点変動下での行動効果マッピングの曖昧さを、過去の行動と観測の記憶を用いて解消すること。
• 強化学習を用いてシミュレーション内で制御方策を訓練し、最小限の実データファインチューニングで実世界に転移すること。
• 認識と制御を分離し、シミュレーションから実世界への転移にあたっては視覚特徴の適応のみを許容すること。
• 手作業で設計された特徴量を一切使用せず、画像観測からのみエンドツーエンドで視点不変サーボイングを学習すること。

提案手法

• LSTMに基づく再帰的コントローラーが、クエリ画像と現在の画像からの特徴を連結して、カーテシアン空間におけるエンドエフェクタの移動を予測する。
• コントローラーは現在の画像と以前に選択された行動の両方を入力とし、画像空間における行動効果関係を暗黙的に学習できるようにする。
• 別個のQ値ヘッドがモンテカルロ収益推定値を用いて行動の質を予測し、強化学習の訓練を支援する。
• 補助的な局在化損失が、予測されたオブジェクト位置と真値の間の距離を最小化することで、視覚的特徴の学習を支援する。
• シミュレーションから実世界への転移は、少数のラベル付き実世界画像を用いて視覚的畳み込み層のみをファインチューニングすることで実現する。
• システムは、多様なオブジェクト位置と視点を備えたランダム化されたシミュレーション環境で訓練され、示された軌道を監督として用いる。

実験結果

リサーチクエスチョン

• RQ1 極端な視点変動下で明示的なキャリブレーションなしに、再帰的ニューラルネットワークが視覚的行動効果の自己自己キャリブレーションを学習できるか？
• RQ2 完全にシミュレーション内でのみ訓練された方策が、未知の物体と視点を持つ実世界のロボット操作タスクにどの程度汎化できるか？
• RQ3 視覚特徴のみをファインチューニングすることで、実世界タスクのパフォーマンスがどの程度向上するか？
• RQ4 1つのオブジェクトと2つのオブジェクトのシナリオ、視覚的干渉要因を含む状況において、1つのコントローラーが汎用的に対応できるか？
• RQ5 視覚的サーボイングタスクにおける曖昧さを解消する上で、再帰的記憶の使用がフィードフォワードベースラインよりも顕著にパフォーマンスを向上させるか？

主な発見

• モデルは、2つのオブジェクトを含む実世界の到達タスクで70.83%の成功率を達成し、未知の視点や干渉要因に対しても強力な汎化性能を示した。
• 少数の実世界画像を用いて視覚特徴をファインチューニングすることで、特に視覚的に曖昧な状況下でもパフォーマンスが顕著に向上した。
• 再帰的コントローラーは、過去の行動と観測の記憶を保持することで、初期の運動誤差を効果的に是正し、自己自己キャリブレーションを実現した。
• トレーニングシミュレーションに存在しなかった以前に未確認のオブジェクトに対しても、強力なゼロショット汎化性能を示した。
• 定性的な結果から、類似した視覚的特徴を持つオブジェクトを区別する能力において、純粋にシミュレーションのみで訓練されたモデルに比べ、適応後のモデルがより頑健であった。
• 視点変動下での行動効果マッピングの曖昧さを効果的に解消できたため、非再帰的ベースラインを上回る性能を発揮した。