[論文レビュー] Multimodel Sensor Fusion for Learning Rich Models for Interacting Soft Robots

Thomas George Thuruthel, Fumiya Iida|arXiv (Cornell University)|May 9, 2022

Advanced Sensor and Energy Harvesting Materials被引用数 5

ひとこと要約

本論文では、行動（運動出力）と触覚（感覚入力）のセンサデータを統合するエンドツーエンドのディープラーニングフレームワークを提案する。このフレームワークにより、柔軟ロボットの高次元の視覚的モデルを学習し、ボディの形状や環境との相互作用を高精度に予測可能となる。本手法は、自己環境分離を自然に生じさせ、手動でのアノテーションや中間処理を一切不要とせず、自己モデル化と物体操作スキルの習得を可能にする。

ABSTRACT

Soft robots are typically approximated as low-dimensional systems, especially when learning-based methods are used. This leads to models that are limited in their capability to predict the large number of deformation modes and interactions that a soft robot can have. In this work, we present a deep-learning methodology to learn high-dimensional visual models of a soft robot combining multimodal sensorimotor information. The models are learned in an end-to-end fashion, thereby requiring no intermediate sensor processing or grounding of data. The capabilities and advantages of such a modelling approach are shown on a soft anthropomorphic finger with embedded soft sensors. We also show that how such an approach can be extended to develop higher level cognitive functions like identification of the self and the external environment and acquiring object manipulation skills. This work is a step towards the integration of soft robotics and developmental robotics architectures to create the next generation of intelligent soft robots.

研究の動機と目的

• 自由度の高い柔軟ロボットの完全な変形および相互作用ダイナミクスを捉えるために、低次元モデルの限界を克服すること。
• 中間のセンサ処理や生のセンサデータの手動ラベリングを回避するデータ駆動型のエンドツーエンド学習アプローチを開発すること。
• 触覚と視覚の感覚入力を統合し、環境との相互作用中に柔軟ロボットの状態を包括的な内部モデルとして構築すること。
• センサモーターレプレゼンテーションの自己教師あり学習を通じて、自己認識や物体操作といった認知的機能を自然に生じさせること。
• このようなモデルが、形状制御、隠蔽状態の処理、および将来の予測制御の分野におけるソフトロボティクスへの応用可能性を実証すること。

提案手法

• 命令された動作とリアルタイムの触覚センサ読み取り値のみを入力として、柔軟な人体に似た指の将来の視覚的状態を予測するためのディープニューラルネットワークを訓練する。
• 時間的依存性を排除する静的（非再帰的）畳み込みニューラルネットワークアーキテクチャを採用し、逐次的圧縮による情報損失を回避する。
• 視覚的および触覚的データの生のままの入力を活用することで、教師なし学習を可能にし、真値ラベルや手動による特徴工学を不要にする。
• 2ストリームエンコーダデコーダ構造を採用し、センサモーターデータから視覚的状態を再構築するようにネットワークを学習させ、潜在空間が自己と環境の構造的差異を捉えるようにする。
• 転置畳み込み層を用いて学習されたレプレゼンテーションを可視化・分析し、ロボット本体と外部物体との間で自然に分離が生じていることを明らかにする。
• ペンなどの操作可能な物体との接触を含む、柔軟指の相互作用データセットを用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 行動指令と感覚フィードバックのみを用いて、ディープラーニングモデルが柔軟ロボットの高次元の視覚的状態を予測可能か？
• RQ2 触覚と視覚データの統合は、環境との相互作用中に柔軟ロボットの内部状態モデルの精度と頑健性をどのように向上させるか？
• RQ3 明示的な教師信号なしに、センサモーターデータからロボット本体と外部物体との間の分離が自然に生じるか？
• RQ4 触覚センサは、動的相互作用中にロボット自身の形状を正確に自己モデル化・認識するために果たす役割は何か？
• RQ5 このようなモデルが、物体操作や自己認識といった上位レベルの認知的機能を、どの程度サポートできるか？

主な発見

• 時間系列予測タスクにおいて、静的ネットワークアーキテクチャが再帰的アーキテクチャを上回った。これは、特徴圧縮とセンサのヒステリシスによる情報損失が少ないためと推定される。
• 外部からの力によって形状が変化する状況でも、触覚センサデータがロボットのボディスキームを正確に予測するために不可欠であった。
• 行動と触覚の入力に基づき、物体の位置変位といった環境の変化を効果的に予測できた。外部ダイナミクスをモデル化する能力を示している。
• 潜在空間の可視化により、ペンのような外部物体と柔軟ロボット本体との間で明確な分離が自然に生じていることが確認され、自己と環境の区別が自己教師あり学習で実現されていることが示された。
• 遮蔽状態下でも正確な視覚的状態予測が達成された。これは、複雑またはごみだらけの環境において視覚センサの代替としての応用可能性を示唆している。
• 学習されたモデルにより、自己教師ありのセンサモーターラーニングを通じて、自己認識や物体操作スキルといった認知的機能が自然に出現した。