[論文レビュー] Self-Supervised Learning of State Estimation for Manipulating Deformable Linear Objects

Mengyuan Yan, Yilin Zhu+2 more|arXiv (Cornell University)|Nov 14, 2019

Advanced Vision and Imaging参考文献 30被引用数 10

ひとこと要約

本論文は、ロープなどの可撓性線形オブジェクトの状態推定のための自己教師付き学習フレームワークを提案する。2段階の認識ネットワークを用い、最初に微調整されたVGG16特徴量を用いた粗い予測を行い、その後空間変換ネットワーク（STN）を用いた階層的精錬によって64セグメントの高精度な推定を達成する。本手法は、ノットの結ぶなど複雑なタスクにおいても、高いデータ効率と限られたアノテート済みデータでも強力な性能を発揮するロバストなトラッキングと操作を実現する。

ABSTRACT

We demonstrate model-based, visual robot manipulation of linear deformable objects. Our approach is based on a state-space representation of the physical system that the robot aims to control. This choice has multiple advantages, including the ease of incorporating physics priors in the dynamics model and perception model, and the ease of planning manipulation actions. In addition, physical states can naturally represent object instances of different appearances. Therefore, dynamics in the state space can be learned in one setting and directly used in other visually different settings. This is in contrast to dynamics learned in pixel space or latent space, where generalization to visual differences are not guaranteed. Challenges in taking the state-space approach are the estimation of the high-dimensional state of a deformable object from raw images, where annotations are very expensive on real data, and finding a dynamics model that is both accurate, generalizable, and efficient to compute. We are the first to demonstrate self-supervised training of rope state estimation on real images, without requiring expensive annotations. This is achieved by our novel self-supervising learning objective, which is generalizable across a wide range of visual appearances. With estimated rope states, we train a fast and differentiable neural network dynamics model that encodes the physics of mass-spring systems. Our method has a higher accuracy in predicting future states compared to models that do not involve explicit state estimation and do not use any physics prior, while only using 3\% of training data. We also show that our approach achieves more efficient manipulation, both in simulation and on a real robot, when used within a model predictive controller.

研究の動機と目的

• ロボット操作におけるロープなどの可撓性線形オブジェクトの正確でリアルタイムな状態推定の課題に対処すること。
• 画像再構成と時間的整合性を活用することで、高価な人手によるアノテート済み真値に依存することを減らす自己教師付き学習の導入。
• 長時間にわたる操作タスクのためのダイナミクスモデルの学習におけるデータ効率の向上。
• トポロジーの変化に耐えうる正確な状態トラッキングを維持することで、ノットの結ぶなどの複雑な操作タスクの実現。
• 認識とダイナミクスモデリングを統合したエンドツーエンドで学習可能なスケーラブルなシステムの開発。

提案手法

• 2段階の認識ネットワーク：まず、凍結されたVGG16の特徴量と全結合層を用いてロープ形状の粗い9点推定を行う。
• 空間変換ネットワーク（STN）による階層的精錬により、注目領域（ROI）の数を3段階で8から64に倍増させる。
• 各精錬ステップでは、低解像度のVGGブロックから特徴量をクロップし、STNを用いて7×7にリサイズし、各ROIに対して3点（開始、中央、終了）を予測する。重複する点は平均化処理を行う。
• 自己教師付き損失は、予測画像と入力画像のL2損失によって最小化され、損失閾値に基づくカリキュラム学習が適用される。
• 時間的整合性は、1つの画像が損失閾値未満の場合、もう一方の画像をより良い性能を持つものとして偽ラベルとして使用することで強制される。
• バイディレクショナルLSTMダイナミクスモデルは、ノードレベルの入力（位置、行動、インジケータ）を用いて将来のロープ状態を予測し、出力を学習可能な重みで融合して次回の位置を予測する。

実験結果

リサーチクエスチョン

• RQ1 画像再構成と時間的整合性を用いた自己教師付き学習は、人手によるキーポイントラベルがなくても、可撓性線形オブジェクトの状態推定精度を向上させることができるか？
• RQ2 空間変換ネットワークを用いた階層的精錬は、64セグメントの細分化されたロープ状態推定にどの程度有効か？
• RQ3 自動カリキュラム学習は、自己教師付き認識学習の収束性とロバスト性をどの程度向上させるか？
• RQ4 提案されたバイディレクショナルLSTMダイナミクスモデルは、先行研究のベースラインと比較して、データ効率と長時間予測精度の両面で優れているか？
• RQ5 統合された認識-ダイナミクスシステムは、トポロジーの変化を伴うノットの結ぶなどの複雑な操作タスクを実現できるか？

主な発見

• 最小限の監視のもとで64セグメントのロープ状態推定を正確に実現し、交差などのトポロジーの変化に対してもロバストなトラッキングを可能にする。
• 訓練画像損失の10番目から20番目の百分位数の間の誤差閾値を用いることで最適な性能が得られ、閾値の選択に対してほとんど感度がない。
• 有効サンプル数のピークに達した際に閾値が自動で更新されるため、損失曲線に段階的な挙動が現れる。
• バイディレクショナルLSTMダイナミクスモデルは、全0.5Mのシミュレーテッド行動データセットの3％のみで学習可能であり、ベースラインと比較して優れたデータ効率を示す。
• シミュレーションでは、100回の行動後、提案手法はベースライン（DVF）よりもはるかに目標状態に近い状態に到達しており、優れた長時間予測制御性能を示す。
• 可視化により、正確な状態トラッキングと目標到達が確認されたことから、ノットの結ぶなどの複雑な操作タスクが成功裏に実現された。