[論文レビュー] Learning to Read Braille: Bridging the Tactile Reality Gap with Diffusion Models

Carolina Higuera, Byron Boots+1 more|arXiv (Cornell University)|Apr 3, 2023

Tactile and Sensory Interactions被引用数 9

ひとこと要約

この論文は条件拡散モデルを用いてシミュレート Depth から現実的な触覚画像をレンダリングし、DIGITセンサーを用いたゼロショットBraille読み取りを実現し、実データで75.74%の精度を達成します。

ABSTRACT

Simulating vision-based tactile sensors enables learning models for contact-rich tasks when collecting real world data at scale can be prohibitive. However, modeling the optical response of the gel deformation as well as incorporating the dynamics of the contact makes sim2real challenging. Prior works have explored data augmentation, fine-tuning, or learning generative models to reduce the sim2real gap. In this work, we present the first method to leverage probabilistic diffusion models for capturing complex illumination changes from gel deformations. Our tactile diffusion model is able to generate realistic tactile images from simulated contact depth bridging the reality gap for vision-based tactile sensing. On real braille reading task with a DIGIT sensor, a classifier trained with our diffusion model achieves 75.74% accuracy outperforming classifiers trained with simulation and other approaches. Project page: https://github.com/carolinahiguera/Tactile-Diffusion

研究の動機と目的

• ビジョンベースの触覚データの現実的レンダリングを動機づけ、シム-to-realギャップを埋める。
• シミュレートされた高さマップを条件とした触覚拡散モデルを開発し、現実的な触覚画像を生成する。
• diffusionベースのレンダリング後にDIGITセンサーを用いた実データへのゼロショット転移を実証する。
• 下流のBraille分類におけるシミュレーションのみ、データ拡張、GANベースのベースラインと比較して改善を定量化する。

提案手法

• 画像を画像へ翻訳を条件付き拡散過程として定式化: p(y|x) ここで x はシミュレートDepth画像、y は現実的な触覚画像。
• ノイズ除去スコア整合性目的で条件付きU-Netデコーダを訓練し、x に条件付けてノイズのある yT から y0 を復元（Eq. 3）。
• YCB-Slideデータセットから180kのシミュ-depth/実触覚画像ペアで拡散モデルを事前訓練。
• 20%の実写 Brailleデータで微調整してタスク固有の質感とBrailleの突起に適応。
• 推論時はガウスノイズから開始し、シミュレ-depth入力に条件付けして徐々に復元して現実的な触覚画像を生成（Eq. 4–6）。
• 実デ触覚画像に対するSSIMとMSEで評価し、下流のBraille分類性能と比較。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースの触覚センサーにおける照明とゲル変形効果を捉え、シム-to-realギャップを埋める拡散ベースのレンダラは機能するか？
• RQ2 拡散ベースの後処理は、主にシミュレーションデータで訓練した場合、DIGITセンサーを用いたBraille読み取りのゼロショット転送を可能にするか？
• RQ3 触覚拡散は実現性と下流タスクの精度においてGANベースの手法と比較してどうか？
• RQ4 実データの限られた微調整が下流のBraille分類性能に与える影響はどの程度か？

主な発見

Training data source	% real data	Fine-tuning	Accuracy	Precision	Recall
Sim	-	30	0.2323	0.34	0.30
Sim	-	20	0.6499	0.71	0.65
Sim	-	80	0.7391	0.80	0.73
Sim	-	100	0.7395	0.81	0.74
Sim + data aug.	-	100	0.7323	0.76	0.73
cGAN	-	100	0.3118	0.40	0.31
Tactile diffusion	-	-	0.7574	0.79	0.76
Real	-	-	1.0000	1.00	1.00
Training cGAN on 100% real, tactile diffusion on YCB-Slide + 20% real	-	-	0.7590	0.78	0.76

• Tactile diffusion はテスト軌跡で一般に SSIM が 0.80 以上を達成し、実データの触覚画像の構造が現実的であることを示す。
• Fine-tuned tactile diffusion on 27 braille characters yields SSIM 0.908 and MSE 36.02 (max 255 per channel), outperforming cGAN (SSIM 0.879, MSE 47.99).
• Braille classifier trained with diffusion-generated data achieves zero-shot real data accuracy of 75.74%.
• Sim-only training with data augmentation or real data fine-tuning improves accuracy but diffusion-based approach requires less real data to reach strong performance.
• Diffusion-based rendering provides better preservation of braille indentations than cGAN, reducing misclassification due to texture artifacts.