[論文レビュー] Learning Visible Connectivity Dynamics for Cloth Smoothing

Xingyu Lin, Yufei Wang+2 more|arXiv (Cornell University)|May 21, 2021

3D Shape Modeling and Analysis参考文献 39被引用数 15

ひとこと要約

本論文は、部分的な点群観測から可視接続ダイナミクス（VCD）を学習する粒子ベースのダイナミクスモデルを提案し、ロボット工学における布のなめらかさの向上を図る。可視布の点の間にメッシュに類似した接続関係を推論し、そのスパarsなグラフ上でダイナミクスをモデル化することで、多様な布の素材や形状に対して優れた汎用性とゼロショットのシミュレーションから実世界への転送性能を達成し、従来のモデルベースおよびモデルフリー手法をシミュレーションおよびフレンカアーム上での実世界での実装において上回る性能を発揮する。

ABSTRACT

Robotic manipulation of cloth remains challenging for robotics due to the complex dynamics of the cloth, lack of a low-dimensional state representation, and self-occlusions. In contrast to previous model-based approaches that learn a pixel-based dynamics model or a compressed latent vector dynamics, we propose to learn a particle-based dynamics model from a partial point cloud observation. To overcome the challenges of partial observability, we infer which visible points are connected on the underlying cloth mesh. We then learn a dynamics model over this visible connectivity graph. Compared to previous learning-based approaches, our model poses strong inductive bias with its particle based representation for learning the underlying cloth physics; it is invariant to visual features; and the predictions can be more easily visualized. We show that our method greatly outperforms previous state-of-the-art model-based and model-free reinforcement learning methods in simulation. Furthermore, we demonstrate zero-shot sim-to-real transfer where we deploy the model trained in simulation on a Franka arm and show that the model can successfully smooth different types of cloth from crumpled configurations. Videos can be found on our project website.

研究の動機と目的

• 自己遮蔽や複雑なダイナミクスによる部分観測下でのロボットによる布の操作という課題に対処すること。
• 完全なメッシュ再構築を必要とせずに、新しい布の形状、素材、色にわたる汎用性を確保するダイナミクスモデルの開発。
• 推論された接続性を有する粒子ベース表現を通じた物理的インダクティブバイアスの組み込みにより、計画性能の向上。
• 実世界の布のなめらかさに向けたゼロショットのシミュレーションから実世界への転送を可能にする、シミュレーションデータのみを用いた学習。
• ピクセルベースまたは潜在ベクトルダイナミクスモデルの限界を克服し、視覚的特徴に依存しない物理的に妥当なダイナミクスモデルを学習すること。

提案手法

• 本手法は、部分点群内の点が潜在的な布メッシュ上でどの点と接続されているかを推定することで、可視接続グラフを推論する。この推定には、学習されたエッジ予測モジュールを用いる。
• 可視接続グラフ上に粒子ベースのダイナミクスモデルを構築し、グラフニューラルネットワーク（GNN）を用いてロボットの操作に対する粒子状態遷移を予測する。
• ダイナミクスモデルは、ターゲット布の配置に至るまでの距離を最小化するように最適化する差分可能プランナを用いて訓練される。
• 長距離の情報伝達を向上させ、モデルのロバスト性を高めるために、GNNプロセッサにグローバルモデルを統合する。
• GNSにインspiredされたメッセージパッシングGNNアーキテクチャを採用し、メッセージパッシングステップ数に対する感受性のアブレーションが示すように、モデルはステップ数に強く依存しない。
• モデルはシミュレーションで訓練され、ファインチューニングなしに実際のフレンカアームに直接デプロイされ、ゼロショットのシミュレーションから実世界への転送を実証した。

実験結果

リサーチクエスチョン

• RQ1 可視接続グラフ上で訓練された粒子ベースのダイナミクスモデルは、未学習の布の形状や素材に一般化可能か？
• RQ2 ピクセルベースまたは潜在ベクトルダイナミクスモデルと比較して、可視接続ダイナミクスは計画精度と一般化性能においてどのように優れているか？
• RQ3 実世界の設定において、深度センサのノイズや部分観測に対して、モデルはどの程度ロバストか？
• RQ4 実世界でのファインチューニングなしに、ゼロショットのシミュレーションから実世界への転送が布のなめらかさに成功するか？
• RQ5 GNNにおけるグローバルモデルの使用やメッセージパッシングステップ数といったアーキテクチャ選択に、性能はどの程度感度を示すか？

主な発見

• VCDモデルは、シミュレーションにおいて最先端のモデルベースおよびモデルフリー強化学習手法を大きく上回り、真値コスト下で平均粒子距離が36.897 mmにまで低下した。これは、次に優れた手法の15.744 mmを大きく上回る。
• 真値コスト下で19.871のIOUスコアを達成し、ターゲット布の配置と強い一致を示し、先行手法を上回る。
• 深度センサのノイズに対してロバストであることが確認され、実世界実験で使用されたAzure Kinect深度センサのノイズ範囲内でも高い性能を維持した。
• ゼロショットのシミュレーションから実世界への転送がフレンカアームで成功し、しわくちゃの状態の異なる素材、形状、色の布のなめらかさが達成された。
• アブレーションスタディでは、GNNにグローバルモデルを組み込むことで計画性能が向上し、メッセージパッシングステップ数（3～10）の広い範囲で安定した性能を示した。これはハイパーパramータ選択に対する安定性を示している。
• 真のFleX布ダイナミクスモデルを用いたオラクルは完璧な結果を達成しており、完全なダイナミクス知識があればさらなる改善が可能である可能性を示唆している。