[논문 리뷰] ArrayTac: A tactile display for simultaneous rendering of shape, stiffness and friction

Tianhai Liang, Shiyi Guo외 4명|arXiv (Cornell University)|2026. 03. 14.

Tactile and Sensory Interactions인용 수 0

한 줄 요약

ArrayTac은 형상, 강성, 마찰을 동시에 고정밀 핫피틱스 및 원격 촉각 촉각 촉각 palpation을 가능하게 하는 폐루프 제어가 가능한 piezoelectric 4x4 촉각 액추에이터 배열입니다. 시각-촉각 파이프라인 및 장거리 촉각 인식에 대한 엔드 투 엔드 파이프라인을 지원합니다.

ABSTRACT

Human-computer interaction in the visual and auditory domains has achieved considerable maturity, yet machine-to-human tactile feedback remains underdeveloped. Existing tactile displays struggle to simultaneously render multiple tactile dimensions, such as shape, stiffness, and friction, which limits the realism of haptic simulation. Here, we present ArrayTac, a piezoelectric-driven tactile display capable of simultaneously rendering shape, stiffness, and friction to reproduce realistic haptic signals. The system comprises a 4x4 array of 16 actuator units, each employing a three-stage micro-lever mechanism to amplify the micrometer-scale displacement of the piezoelectric element, with Hall sensor-based closed-loop control at the end effector to enhance response speed and precision. We further implement two end-to-end pipelines: 1) a vision-to-touch framework that converts visual inputs into tactile signals using multimodal foundation models, and 2) a real-time tele-palpation system operating over distances of several thousand kilometers. In user studies, first-time participants accurately identify object shapes and physical properties with high success rates. In a tele-palpation experiment over 1,000km, untrained volunteers correctly identified both the number and type of tumors in a breast phantom with 100% accuracy and precisely localized their positions. The system pioneers a new pathway for high-fidelity haptic feedback by introducing the unprecedented capability to simultaneously render an object's shape, stiffness, and friction, delivering a holistic tactile experience that was previously unattainable.

연구 동기 및 목표

• 다중 촉각 모달리티(형상, 강성, 마찰)의 동시 렌더링이 가능한 촉각 디스플레이를 동기부여하고 시연한다.
• 실시간 피드백과 확장 가능한 제어를 갖춘 고해상도 폐루프 촉각 디스플레이를 개발한다.
• 이미지 및 원격 촉각 작업에서 인지하는 엔드투엔드 파이프라인(Tac-Anything 및 Tele-Touch)을 선보인다.
• 심리물리학적 검증을 통해 직관적인 형상 인식과 강성 및 마찰의 정확한 지각을 가능하게 한다.

제안 방법

• 맞춤형 고성능 구동 회로로 구동되는 32-액추에이터 4x4 배열.
• 40 μm의 피에조 변위를 최대 5 mm까지 증폭하는 3단 마이크로레버 기구.
• 각 액추에이터 유닛에 대해 홀 센서 기반 엔드이펙터 폐루프 피드백.
• 확장된 작동 공간과 능동적 탐색을 위한 로터리 인코더가 있는 무중력 슬라이딩 플랫폼.
• 연성 재료 거동을 모방하기 위한 비선형(2차) 피드포워드 페널티를 사용하는 강성 제어 알고리즘.
• 손 추적 및 촉각 디스플레이 통합이 가능한 실시간 촉각 렌더링 파이프라인.

실험 결과

연구 질문

• RQ1 하나의 촉각 디스플레이가 형상, 강성, 마찰을 동시에 고충실도로 렌더링할 수 있는가?
• RQ2 폐루프 제어가 형상 렌더링 정확도와 대역폭에 어떤 영향을 미치는가?
• RQ3 사용자는 여러 강성 및 마찰 수준에서 제로샷 형상 식별 및 구분이 가능한가?
• RQ4 이미지에서 유추된 촉각 의미를 배열에 렌더링하여 시각-촉각 작업을 지원할 수 있는가?
• RQ5 Tele-Touch를 사용하여 먼 거리에서도 고정확도로 원격 촉각이 가능한가?

주요 결과

• 장치는 실시간 렌더링을 위한 안정적인 초당 500 Hz 이상의 새로 고침 속도를 달성한다.
• 각 액추에이터 유닛은 40 μm를 홀 센서 폐루프 제어로 최대 5 mm 변위로 증폭한다.
• 형상 렌더링은 초보 사용자를 대상으로도 제로샷 형상 식별이 가능한 높은 정확도(단순 형상에서 중앙값 점수이 5에 근접)로 지원한다.
• 다섯 가지 지각적으로 구별되는 강성 수준이 렌더링 및 구별 가능하다(인접 수준의 쌍별 정확도 >86%, 절대 식별 >74%).
• 마찰은 5단계의 바이브로 촉각 큐를 통해 렌더링되며, 쌍별 구별 정확도는 100%, 절대 식별은 >87%에 달한다.
• Tac-Anything는 RGB 이미지에서 촉각 의미를 추출하고 IoU 0.45±0.15의 장면 스케치를 가능하게 하며 위치 정확도도 높다; Tele-Touch는 원격 촉각을 시연하고 위치 오차는 약 0.3–0.4 cm이며 종양 구분 정확도가 높다.
• 도시 간 breast tumor 촉각 검사에서 1000 km 떨어진 상황에서 11명의 남짓한 참가자들은 진단 정확도 100%를 달성했고 제어 및 감지 대기 시간은 0.1 s 미만이었다.