[论文解读] ArrayTac: A tactile display for simultaneous rendering of shape, stiffness and friction

Tianhai Liang, Shiyi Guo+4 more|arXiv (Cornell University)|Mar 14, 2026

Tactile and Sensory Interactions被引用 0

一句话总结

ArrayTac 是一个压电触觉显示器，通过闭环控制可同时呈现形状、刚度和摩擦，具有高保真触觉与远程触诊能力。它支持用于从图像到触觉的端到端管线以及长距离触觉感知。

ABSTRACT

Human-computer interaction in the visual and auditory domains has achieved considerable maturity, yet machine-to-human tactile feedback remains underdeveloped. Existing tactile displays struggle to simultaneously render multiple tactile dimensions, such as shape, stiffness, and friction, which limits the realism of haptic simulation. Here, we present ArrayTac, a piezoelectric-driven tactile display capable of simultaneously rendering shape, stiffness, and friction to reproduce realistic haptic signals. The system comprises a 4x4 array of 16 actuator units, each employing a three-stage micro-lever mechanism to amplify the micrometer-scale displacement of the piezoelectric element, with Hall sensor-based closed-loop control at the end effector to enhance response speed and precision. We further implement two end-to-end pipelines: 1) a vision-to-touch framework that converts visual inputs into tactile signals using multimodal foundation models, and 2) a real-time tele-palpation system operating over distances of several thousand kilometers. In user studies, first-time participants accurately identify object shapes and physical properties with high success rates. In a tele-palpation experiment over 1,000km, untrained volunteers correctly identified both the number and type of tumors in a breast phantom with 100% accuracy and precisely localized their positions. The system pioneers a new pathway for high-fidelity haptic feedback by introducing the unprecedented capability to simultaneously render an object's shape, stiffness, and friction, delivering a holistic tactile experience that was previously unattainable.

研究动机与目标

• 刺激并展示能够同时呈现多种触觉模态（形状、刚度、摩擦）的触觉显示器。
• 开发具备实时反馈与可扩展控制的高分辨率闭环触觉显示器。
• 展示端到端管线（Tac-Anything 与 Tele-Touch），以实现从图像感知和远程触诊任务。
• 通过心理物理验证实现直观的形状识别以及对刚度和摩擦的准确感知。

提出的方法

• 32-驱动器 4x4 阵列，由自定义高性能驱动电路驱动。
• 三级微杠杆机构将 40 μm 的压电位移放大至最高 5 mm。
• 基于霍尔传感器的末端执行器闭环反馈用于每个执行单元。
• 零重力滑动平台，带旋转编码器以扩展工作空间并进行主动探查。
• 使用非线性（二次）前馈惩罚的刚度控制算法，以模拟软材料行为。
• 具备手部追踪与触觉显示集成的实时触觉呈现管线。

实验结果

研究问题

• RQ1 单个触觉显示器是否能够以高保真同时呈现形状、刚度和摩擦？
• RQ2 闭环控制如何影响形状呈现的准确性和带宽？
• RQ3 用户是否能够在多种刚度和摩擦水平下零-shot 地识别和区分形状？
• RQ4 能否将从图像推断的触觉语义呈现到阵列上，以支持视觉到触觉任务？
• RQ5 使用 Tele-Touch 在长距离实现高精度的远程触诊是否可行？

主要发现

• 该装置在实时渲染方面实现了稳定的刷新率超过 500 Hz。
• 每个执行单元在霍尔传感器闭环控制下将 40 μm 放大到最高 5 mm 的位移。
• 形状呈现支持零-shot 形状识别，简单形状在普通用户中的中位评分接近 5。
• 可呈现且可区分五个 perceptually 不同的刚度等级（相邻等级的配对准确率>86%，绝对识别>74%）。
• 摩擦通过带有五个等级的振动触觉线索呈现，在两两辨别中达到 100% 的准确性，绝对识别 >87%。
• Tac-Anything 使从 RGB 图像提取触觉语义成为可能，实现场景草绘，IoU 0.45±0.15 且放置精度高；Tele-Touch 演示了远程触诊，定位误差约为 0.3–0.4 cm，肿瘤识别准确率高。
• 在跨城 breast 肿瘤触诊中超过 1000 公里，11 名初学志愿者在控制与感知的延迟低于 0.1 s 的情况下，诊断准确率达到 100%，肿瘤类型识别无误。