[論文レビュー] Taxim: An Example-based Simulation Model for GelSight Tactile Sensors

Zilin Si, Wenzhen Yuan|arXiv (Cornell University)|Sep 9, 2021

Advanced Sensor and Energy Harvesting Materials被引用数 4

ひとこと要約

Taxim は、多項式ルックアップテーブルを用いた光学応答シミュレーションと、線形変位および重ね合わせの原理を用いたマーカー運動場シミュレーションを組み合わせた、例に基づく高速なシミュレーションフレームワークであり、GelSight 触覚センサーを対象としている。光学的精度が最先端水準に達し、ピxls単位の強度誤差を実現するとともに、CPU 上で効率的に実行可能であり、ロボット研究における現実的で計算コストが低い触覚シミュレーションを可能にする。

ABSTRACT

Simulation is widely used in robotics for system verification and large-scale data collection. However, simulating sensors, including tactile sensors, has been a long-standing challenge. In this paper, we propose Taxim, a realistic and high-speed simulation model for a vision-based tactile sensor, GelSight. A GelSight sensor uses a piece of soft elastomer as the medium of contact and embeds optical structures to capture the deformation of the elastomer, which infers the geometry and forces applied at the contact surface. We propose an example-based method for simulating GelSight: we simulate the optical response to the deformation with a polynomial look-up table. This table maps the deformed geometries to pixel intensity sampled by the embedded camera. In order to simulate the surface markers' motion that is caused by the surface stretch of the elastomer, we apply the linear elastic deformation theory and the superposition principle. The simulation model is calibrated with less than 100 data points from a real sensor. The example-based approach enables the model to easily migrate to other GelSight sensors or its variations. To the best of our knowledge, our simulation framework is the first to incorporate marker motion field simulation that derives from elastomer deformation together with the optical simulation, creating a comprehensive and computationally efficient tactile simulation framework. Experiments reveal that our optical simulation has the lowest pixel-wise intensity errors compared to prior work and can run online with CPU computing. Our code and supplementary materials are open-sourced at https://github.com/CMURoboTouch/Taxim.

研究の動機と目的

• ロボットシミュレーションフレームワークにおける現実的で効率的な触覚センサーのシミュレーションの欠如に対処すること。
• GelSight などのビジュアルベースの触覚センサーにおける光学的応答とマーカー運動の両方を捉えるシミュレーションモデルを開発すること。
• 最小限の実世界データで、一般化可能な計算効率の高いキャリブレーションベースの手法を構築すること。
• シミュレーションから実世界への触覚認識を実現するため、光学的および機械的応答シミュレーションを統合した単一のフレームワークを構築すること。
• 高価な実世界実験を回避して、触覚ベースの操作のための大規模なデータ生成とシステム検証を可能にすること。

提案手法

• 接触形状をピクセル強度にマップする多項式ルックアップテーブルを用いて、GelSight センサーの光学的応答をシミュレートする。
• エラストマーの変形をモデル化するために、線形変位関係と重ね合わせの原理を用いてマーカー運動場をシミュレートする。
• 100例未満の実センサーの接触例を用いたキャリブレーションにより、新しいセンサーへの素早い適応が可能になる。
• 照照明からのシャドウ効果を積算アプローチでシミュレートし、現実性を向上させる。
• PyBullet や Gazebo などのロボットシミュレーションエンジンへの統合を想定して設計されている。
• シミュレーション全体が CPU 上でオンラインで実行可能であり、リアルタイム応用に適した高速性能を実現している。

実験結果

リサーチクエスチョン

• RQ1 データドリブンで例に基づくアプローチを用いて、GelSight センサーの光学的応答を正確に再現できるか？
• RQ2 線形変位および重ね合わせの原理を用いて、エラストマーの変形によって生じるマーカー運動場を高精度にシミュレートできるか？
• RQ3 提案手法のシミュレーションは、既存の物理ベースまたは学習ベースの触覚シミュレータと比較して、正確性と速度の両面で優れているか？
• RQ4 最小限の再キャリブレーションで、さまざまな GelSight センサーに一般化できる程度はどの程度か？
• RQ5 実データによるキャリブレーションにより、ノイズと照照明効果を効果的にシミュレートできるか？

主な発見

• 光学的シミュレーションは、先行研究と比較して最小のピxls単位の強度誤差を達成しており、X方向で 3.58×10⁻³ mm、Y方向で 3.32×10⁻³ mm、Z方向で 5.43×10⁻³ mm の平均誤差を示した。
• FEM シミュレーションと比較した場合、マーカー運動場シミュレーションの平均 L1 誤差は 3.96×10⁻³ mm であり、物理ベースの変形と強い整合性を示している。
• CPU 上での平均実行時間は 9.22 秒であり、FEM シミュレーション（2～4 時間）よりも顕著に高速で、GPU アクcelerated ベースラインとも競争力がある。
• 実データとシミュレートされたマーカー運動の間の重み付き平均角 L1 誤差は 14.57° であり、実データと FEM データ間の誤差（12.94°）に近く、高い忠実度を示している。
• 100 例未満の実データによるキャリブレーションにより、照照明効果とセンサーのノイズを効果的に捉えることができ、正確なシミュレーションから実世界への移行が可能になった。
• Taxim は、高精度かつ計算コストが低い両方の光学的応答とマーカー運動場を同時にシミュレートする最初のフレームワークである。