[論文レビュー] ArrayTac: A tactile display for simultaneous rendering of shape, stiffness and friction

Tianhai Liang, Shiyi Guo+4 more|arXiv (Cornell University)|Mar 14, 2026

Tactile and Sensory Interactions被引用数 0

ひとこと要約

ArrayTacは、形状、剛性、摩擦を同時に表現できる4x4触覚アクチュレータアレイで、閉ループ制御により高忠実度の触覚と遠隔触診を実現します。視覚から触覚へのエンドツーエンドパイプラインと長距離触覚知覚をサポートします。

ABSTRACT

Human-computer interaction in the visual and auditory domains has achieved considerable maturity, yet machine-to-human tactile feedback remains underdeveloped. Existing tactile displays struggle to simultaneously render multiple tactile dimensions, such as shape, stiffness, and friction, which limits the realism of haptic simulation. Here, we present ArrayTac, a piezoelectric-driven tactile display capable of simultaneously rendering shape, stiffness, and friction to reproduce realistic haptic signals. The system comprises a 4x4 array of 16 actuator units, each employing a three-stage micro-lever mechanism to amplify the micrometer-scale displacement of the piezoelectric element, with Hall sensor-based closed-loop control at the end effector to enhance response speed and precision. We further implement two end-to-end pipelines: 1) a vision-to-touch framework that converts visual inputs into tactile signals using multimodal foundation models, and 2) a real-time tele-palpation system operating over distances of several thousand kilometers. In user studies, first-time participants accurately identify object shapes and physical properties with high success rates. In a tele-palpation experiment over 1,000km, untrained volunteers correctly identified both the number and type of tumors in a breast phantom with 100% accuracy and precisely localized their positions. The system pioneers a new pathway for high-fidelity haptic feedback by introducing the unprecedented capability to simultaneously render an object's shape, stiffness, and friction, delivering a holistic tactile experience that was previously unattainable.

研究の動機と目的

• 複数の触覚モダリティ（形状、剛性、摩擦）を同時に描出可能な触覚ディスプレイを動機づけ、実証する。
• リアルタイムフィードバックとスケーラブル制御を備える高解像度の閉ループ触覚ディスプレイを開発する。
• 画像からの知覚と遠隔触診タスクのエンドツーエンドパイプライン（Tac-Anything と Tele-Touch）を展示する。
• 心理物理的検証を通じて、直感的な形状認識と剛性・摩擦の正確な知覚を実現する。

提案手法

• カスタム高性能ドライブ回路で駆動される32アクチュエータ 4x4アレイ。
• 3段ミクロレバー機構が40 μmの圧電変位を最大5 mmまで拡大。
• 各アクチュエータユニットに対するホールセンサベースのエンドエフェクタ閉ループフィードバック。
• 延長作業空間と能動探索のための回転エンコーダ付きゼロ重力スライディングプラットフォーム。
• 硬材料挙動を模倣するための非線形（2次式）フィードフォワードペナルティを用いた剛性制御アルゴリズム。
• 手の追跡と触覚ディスプレイ統合を備えたリアルタイム触覚レンダリングパイプライン。

実験結果

リサーチクエスチョン

• RQ1 単一の触覚ディスプレイは高忠実度で形状、剛性、摩擦を同時に描出できるか。
• RQ2 閉ループ制御は形状レンダリングの精度と帯域幅にどのような影響を与えるか。
• RQ3 複数の剛性と摩擦レベル間で、ゼロショットの形状識別と弁別が可能か。
• RQ4 画像から推定される触覚意味をアレイに描画して、視覚から触覚タスクを支援できるか。
• RQ5 Tele-Touchを用いた長距離で高精度な遠隔触診は実現可能か。

主な発見

• デバイスはリアルタイムレンダリングの安定したリフレッシュレートを500 Hz超で達成。
• 各アクチュエータユニットは40 μmを最大5 mmの変位に拡大し、ホールセンサ閉ループ制御を実現。
• 形状レンダリングは、素人ユーザーの高精度なゼロショット形状識別をサポート（単純な形状で中央値スコアがほぼ5）。
• 5つの知覚的に異なる剛性レベルを描画・識別可能（隣接レベルのペアワイズ精度>86%、絶対同定精度>74%）。
• 摩擦は振動触覚キューを用いて5レベルで描画され、ペアワイズ識別で100%の精度、絶対同定精度>87%を達成。
• Tac-AnythingはRGB画像から触覚意味を抽出し、IoU 0.45±0.15のシーンスケッチと高い配置精度を実現。Tele-Touchはリモート触診を実演し、局在誤差0.3–0.4 cm程度と高い腫瘍識別精度を示す。
• 跨都市での1000 kmに及ぶ乳腺腫瘍触診実験で、11名の素人ボランティアが腫瘍タイプ識別で100%の診断精度を達成し、制御とセンシングの待機時間は0.1 s未満だった。