[論文レビュー] Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions

Carmelo Sferrazza, Raffaello D’Andrea|arXiv (Cornell University)|Dec 21, 2020

Advanced Sensor and Energy Harvesting Materials参考文献 1被引用数 6

ひとこと要約

本論文は、粒子を分散させた柔ららか素材の有限要素法（FEM）シミュレーションによって生成された合成データのみを用いて、U-Netに基づくニューラルネットワークを完全に訓練する、高分解能光学タクチルセンシングのシミュレーションから実世界へのフレームワークを提案する。モデルは画像特徴量を3次元接触力分布にマッピングし、実世界のセンサで高い精度を達成する。生の画像特徴量を用いたリアルタイム推論（120 Hz）を実現し、光学フローに基づく代替手法よりも精度と速度で優れる。

ABSTRACT

The images captured by vision-based tactile sensors carry information about high-resolution tactile fields, such as the distribution of the contact forces applied to their soft sensing surface. However, extracting the information encoded in the images is challenging and often addressed with learning-based approaches, which generally require a large amount of training data. This article proposes a strategy to generate tactile images in simulation for a vision-based tactile sensor based on an internal camera that tracks the motion of spherical particles within a soft material. The deformation of the material is simulated in a finite element environment under a diverse set of contact conditions, and spherical particles are projected to a simulated image. Features extracted from the images are mapped to the 3D contact force distribution, with the ground truth also obtained via finite-element simulations, with an artificial neural network that is therefore entirely trained on synthetic data avoiding the need for real-world data collection. The resulting model exhibits high accuracy when evaluated on real-world tactile images, is transferable across multiple tactile sensors without further training, and is suitable for efficient real-time inference.

研究の動機と目的

• シミュレーションデータのみを用いて、光学タクチルセンサの画像から3次元接触力分布を高分解能かつリアルタイムに推定すること。
• 実世界でのデータ収集を完全に排除するため、合成FEMシミュレーションに基づいて訓練すること。
• 微調整なしに複数の物理的タクチルセンサに一般化可能な移行可能なモデルを開発すること。
• 生の画像特徴量と光学フロー特徴量の両者が、タクチルセンシングにおけるシミュレーションから実世界への移行に与える影響を比較すること。
• 多様な接触条件下での力分布再構成の精度を維持しつつ、リアルタイム推論（120 Hz）を達成すること。

提案手法

• 球状の粒子を柔ららかゲルに埋め込んだ素材の変形を、有限要素法（FEM）を用いてさまざまな接触条件下でシミュレーションする。
• シミュレートされた粒子の変位を2次元画像平面に投影し、合成タクチル画像を生成する。
• モデル入力として、生の画像から直接特徴量を抽出するか、光学フロー計算による特徴量を抽出する。
• FEMシミュレーションからの真値を用いて、生の画像特徴量を3次元接触力分布にマッピングするU-Netベースのニューラルネットワークを、合成データ上でエンドツーエンドに訓練する。
• 生の特徴量モデルと光学フロー特徴量モデルの両方で、同じアーキテクチャと入出力次元を用いることで、公平な比較を実現する。
• 訓練されたモデルを実世界のタクチルセンサデータで評価し、シミュレーションから実世界への一般化性能と推論速度を評価する。

実験結果

リサーチクエスチョン

• RQ1 FEMシミュレーションの合成データのみで訓練された学習ベースのモデルは、実世界のタクチルセンサにおいても3次元接触力分布を正確に再構成できるか？
• RQ2 生の画像特徴量と光学フロー特徴量の選択が、シミュレーションから実世界への移行性能と推論速度に与える影響は何か？
• RQ3 微調整なしに、同じタクチルセンサ設計の複数の物理的インスタンスに一般化できるか？
• RQ4 CPU上で実装した際のモデルの推論速度は、リアルタイムロボットアプリケーションでどの程度達成できるか？
• RQ5 シミュレーションの分布外である、せん断力優勢や複数接触の状況下でも、モデルの精度は維持されるか？

主な発見

• 生の画像特徴量を用いたモデルは、実世界のテストデータにおいて、光学フローに基づくモデルよりも高い精度を示し、特に垂直方向の力成分で顕著であった。
• 生の特徴量モデルは、全力成分において平均絶対誤差や相関係数といった定量的指標で、光学フローモデルを上回った。
• 生の特徴量パイプラインはCPU上で120 Hzのリアルタイム推論を達成したが、光学フローパイプラインは特徴抽出のボトル neck により50 Hzに留まった。
• モデルは強力なゼロショット移行性を示し、微調整や実世界データなしに、複数の物理的タクチルセンサに一般化した。
• 訓練分布外の課題的状況、例えばせん断力優勢や複数接触のインデンテーションに対しても、高い精度を維持した。
• シミュレーションと現実の間には依然として性能ギャップが存在し、今後のドメイン適応技術によるシミュレーションから実世界へのギャップの縮小の余地がある。