[論文レビュー] SE3-Pose-Nets: Structured Deep Dynamics Models for Visuomotor Planning and Control

Arunkumar Byravan, Felix Leeb+2 more|arXiv (Cornell University)|Oct 2, 2017

Advanced Vision and Imaging参考文献 18被引用数 30

ひとこと要約

SE3-Pose-Nets は、フレーム間の点対応のみを用いて、生の深度データから 6D オブジェクトポーズ埋め込みとシーン部品セグメンテーションを同時に学習する構造的ディープダイナミクスモデルを提案する。低次元で物理的に根拠のあるポーズ空間でダイナミクスを予測することにより、30Hz でリアルタイムの勾配ベースのビジュオモーター制御が可能となり、データアソシエーションと制御のロバスト性が向上した。シミュレーションおよび Baxter ロボット実験の両方でベースラインを上回る性能を発揮した。

ABSTRACT

In this work, we present an approach to deep visuomotor control using structured deep dynamics models. Our deep dynamics model, a variant of SE3-Nets, learns a low-dimensional pose embedding for visuomotor control via an encoder-decoder structure. Unlike prior work, our dynamics model is structured: given an input scene, our network explicitly learns to segment salient parts and predict their pose-embedding along with their motion modeled as a change in the pose space due to the applied actions. We train our model using a pair of point clouds separated by an action and show that given supervision only in the form of point-wise data associations between the frames our network is able to learn a meaningful segmentation of the scene along with consistent poses. We further show that our model can be used for closed-loop control directly in the learned low-dimensional pose space, where the actions are computed by minimizing error in the pose space using gradient-based methods, similar to traditional model-based control. We present results on controlling a Baxter robot from raw depth data in simulation and in the real world and compare against two baseline deep networks. Our method runs in real-time, achieves good prediction of scene dynamics and outperforms the baseline methods on multiple control runs. Video results can be found at: https://rse-lab.cs.washington.edu/se3-structured-deep-ctrl/

研究の動機と目的

• 生の深度観測から一貫性のある低次元ポーズ空間を学習することで、ビジュオモーター制御における長距離データアソシエーションの課題に取り組む。
• 勾配ベースの最適化法を用いて学習済みポーズ空間で直接行動を最適化することで、リアルタイムで反応性の高い制御を実現する。
• 最小限の教師信号で、構造的エンコーダ・デコーダアーキテクチャを用いてオブジェクト部品のセグメンテーションと 3D 動的ダイナミクスを同時に予測する。
• 外部トラッキングシステムへの依存を排除するため、データアソシエーションを学習済みダイナミクスモデルに統合する。
• シミュレーションおよび現実世界の両方の設定で、Baxter ロボット上でロバストでリアルタイムの制御性能を示す。

提案手法

• モデルはエンコーダ・デコーダアーキテクチャを用い、検出されたシーン部品の低次元ポーズ埋め込みを予測し、SE(3) 空間における 6D オブジェクトポーズを表現する。
• ペアド点群データ上で学習され、画像再構成ではなく、ポーズの変化をモデル化する物理的根拠に基づく 3D 損失関数を用い、点対応のみを教師信号として使用する。
• ネットワークはシーンの顕著な部品を明示的にセグメンテーションし、長時間にわたるシーケンスにわたり一貫性のあるポーズ埋め込みを学習する。これにより、暗黙的なデータアソシエーションが可能になる。
• 勾配ベースの最適化（例：ガウス・ニュートン法やバックプロパゲーション）を用いて潜在空間におけるポーズ誤差を最小化することで、リアルタイムのフィードバック制御を実現する。
• 速度制御およびエンドエフェクタ制御の両方をサポートし、関節状態情報を統合することで、相関の強い関節の性能を向上させる。
• フレーム間の点対応のみを教師信号として用い、生の深度データ上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 点対応のみを用いて、フレーム間の対応関係から、シーン部品の一貫性のある 6D ポーズ埋め込みをディープダイナミクスモデルが学習できるか？
• RQ2 このようなポーズ埋め込みを有するモデルは、外部データアソシエーションシステムに依存せずに、リアルタイムで反応性の高いビジュオモーター制御を可能にするか？
• RQ3 エンドツーエンドのピクセルレベルダイナミクスモデルと比較して、構造的で部品ベースの表現を学習することで、制御性能と一般化能力がどのように向上するか？
• RQ4 学習済みポーズ空間における勾配ベース最適化は、アクションサンプリングや画像空間制御に比べ、速度および正確性の面でどの程度優れているか？
• RQ5 センサノイズやモデル化されていないダイナミクスが存在する現実世界のロボット制御に、モデルは一般化可能か？

主な発見

• SE3-Pose-Nets は 30Hz を超えるリアルタイム制御を達成し、ポーズ検出ステップを含むベースライン手法（約 10Hz）よりも著しく高速である。
• シミュレーションおよび Baxter ロボット実験の両方で、2 つのベースラインディープネットワークを上回り、予測精度と制御のロバスト性に優れた性能を示した。
• 6D ポーズ埋め込みを予測することで、長時間にわたるシーケンスにわたり一貫性のあるデータアソシエーションを学習し、外部トラッキングシステムの必要性を排除した。
• ポーズ空間におけるガウス・ニュートン法による最適化は、収束が早く、実世界データにおけるセンサノイズ下でもバックプロパゲーションベースの制御とほぼ同等の性能を発揮した。
• モデルは強力な一般化能力を示し、シミュレーションおよび実世界の両方の結果から、未モデル化されたダイナミクスや深度画像におけるエンドエフェクタの可視性が低い状況下でも、高速な収束と安定した性能が得られた。
• 関節角度測定値の追加により、低次のキネマティックチェーン関節（4–6）の性能が向上したが、強い運動相関のため課題は残っている。