[論文レビュー] DexTac: Learning Contact-aware Visuotactile Policies via Hand-by-hand Teaching

Xingyu Zhang, Chaofan Zhang+4 more|arXiv (Cornell University)|Jan 29, 2026

Tactile and Sensory Interactions被引用数 0

ひとこと要約

DexTacは手指ごとの kinesthetic デモと多次元視触覚センサを組み合わせて、接触認識ポリシーを学習し、力と接触領域（CoP）を予測して巧妙な操作を実現する。注射器のタスクで高い成功率を達成。

ABSTRACT

For contact-intensive tasks, the ability to generate policies that produce comprehensive tactile-aware motions is essential. However, existing data collection and skill learning systems for dexterous manipulation often suffer from low-dimensional tactile information. To address this limitation, we propose DexTac, a visuo-tactile manipulation learning framework based on kinesthetic teaching. DexTac captures multi-dimensional tactile data-including contact force distributions and spatial contact regions-directly from human demonstrations. By integrating these rich tactile modalities into a policy network, the resulting contact-aware agent enables a dexterous hand to autonomously select and maintain optimal contact regions during complex interactions. We evaluate our framework on a challenging unimanual injection task. Experimental results demonstrate that DexTac achieves a 91.67% success rate. Notably, in high-precision scenarios involving small-scale syringes, our approach outperforms force-only baselines by 31.67%. These results underscore that learning multi-dimensional tactile priors from human demonstrations is critical for achieving robust, human-like dexterous manipulation in contact-rich environments.

研究の動機と目的

• 関節状態、RGB映像、触覚データ（接触領域情報を含む）を捉えた高品質なマルチモーダル専門デモンストレーションを提供する。
• 巧妙な操作中に力と接触領域（CoP）の両方を予測する接触認識ポリシーを学習する。
• ポリシー予測と触覚手がかりを組み合わせて指の力と接触領域をリアルタイムで制御する触覚コントローラを展開する。
• 難易度の高い片手注射タスクでの成功率を向上させ、未知の注射器サイズへの一般化を示す。

提案手法

• 指先シースを用いた手動キネステ教示でヒト指のドメインシフトを抑制しつつ多 Modal データを収集する。
• RGB画像、GelStereo BioTipセンサの触覚画像、関節状態、相互作用力および指先ごとのCoPを取得する。
• 多モーダル状態を関節変動・触覚力・CoPを含むアクションチャンクへ写像するACTベースのポリシーを訓練する。
• ポリシー潜在空間を規制するKLダージサンス項を含む潜在変数zを組み込んで、系統長の計画を可能にする。
• 予測力とCoPを用いて力情報付きの位置参照を調整する触覚コントローラを展開し、接触認識運動を保証する。
• ポリシー学習を不完全模倣学習として、アクションチャンクのL1誤差を最小化する損失とKL正則化項を含めて定式化する。

実験結果

リサーチクエスチョン

• RQ1 触覚情報、特にCoPを組み込むと注射タスクの巧妙な操作性能は改善されるか？
• RQ2 接触認識ポリシーは未知の注射器サイズへのゼロショット移行でどれだけ一般化するか？
• RQ3 デモンストレーションデータの量が増えると性能はどの程度スケールするか（データ効率）？

主な発見

• DexTacは注射器サイズ全体で平均成功率91.67％を達成し、力のみのベースラインを31.67％上回る。
• 20 mL注射器へのゼロショット移行で65％の成功を示し、強い一般化を示す。
• アブレーションにより触覚センサまたはCoPを除去すると性能が低下し、触覚+CoPが最も高い成功率を示す。
• デモンストレーションを増やすほど性能が向上し、サイズごとに約30デモでプラトーを形成する。
• 純粋に触覚実験では視覚がダイナミックな把持・押し込みタスクで有益であることを示し、連続接触ケースは最小限の視覚入力で実行可能。