[논문 리뷰] HumanoidTurk: Expanding VR Haptics with Humanoids for Driving Simulations

DaeHo Lee, Ryo Suzuki외 1명|arXiv (Cornell University)|2026. 01. 26.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

논문은 humanoid 로봇을 VR 운전을 위한 전신 촉각 미디엄으로 재목적화하고, 게임 내 g-forces를 동기화된 의자 움직임에 매핑하며, 사용자 연구에서 스무딩 방식과 임계값 합성 방법을 비교한다.

ABSTRACT

We explore how humanoid robots can be repurposed as haptic media, extending beyond their conventional role as social, assistive, collaborative agents. To illustrate this approach, we implemented HumanoidTurk, taking a first step toward a humanoid-based haptic system that translates in-game g-force signals into synchronized motion feedback in VR driving. A pilot study involving six participants compared two synthesis methods, leading us to adopt a filter-based approach for smoother and more realistic feedback. A subsequent study with sixteen participants evaluated four conditions: no-feedback, controller, humanoid+controller, and human+controller. Results showed that humanoid feedback enhanced immersion, realism, and enjoyment, while introducing moderate costs in terms of comfort and simulation sickness. Interviews further highlighted the robot's consistency and predictability in contrast to the adaptability of human feedback. From these findings, we identify fidelity, adaptability, and versatility as emerging themes, positioning humanoids as a distinct haptic modality for immersive VR.

연구 동기 및 목표

• 휴먼노이드 로봇이 사회적/지원 역할을 넘어 다재다능한 촉각 매체로 활용될 수 있음을 동기화하고 시연한다.
• HumanoidTurk를 개발하여 운전 시뮬레이터의 g-forces를 동기화된 전신 피드백으로 번역한다.
• 두 가지 합성 방법(스무딩 vs 임계값) 을 평가하고 피드백 없음, 컨트롤러 진동, 인간 피드백과 비교한다.
• 몰입감, 리얼리즘, 편안함, 즐거움 및 시뮬레이터 멀미에 미치는 영향을 평가한다.
• humanoid 매개 촉각의 충실도, 적응성, 다재다능성에 대한 테마를 식별한다.

제안 방법

• RH56DFTP 손이 달린 Unitree G1 휴머노이드를 사용하여 의자를 잡고 운전 g-forces에 동기화된 모션 피드백을 전달한다.
• SharedMemory를 통해 Assetto Corsa의 실시간 게임 내 g-forces를 의문의 역운동학(inverse kinematics)으로 의자 모션에 매핑한다.
• 두 가지 합성 파이프라인을 비교한다: (i) 느린 드리프트를 위한 로우패스와 빠른 변화에 대한 하이패스/저깅을 사용하는 스무딩 필터 기반 매핑, (ii) 임계값 기반 이벤트 주도 매핑.
• 안전 제약(변위, 회전, 최대 중량) 및 안전 정지 메커니즘을 구현한다.
• 예비 연구를 통해 선호 방법을 선택하고, 그 다음 네 가지 피드백 조건(No-Feedback, Controller, Humanoid+Controller, Human+Controller)으로 메인 사용자 연구를 수행한다.
• 실시간 피드백 보장을 위한 전체 지연 시간(약 34.7 ms, IK 우세) 측정.

실험 결과

연구 질문

• RQ1 humanoid 매개 촉각 피드백이 컨트롤러만의 피드백이나 피드백 없음에 비해 VR 운전에서 몰입감, 리얼리즘, 즐거움을 향상시키는가?
• RQ2 humanoid 기반 피드백과 인간이 제공하는 피드백은 사용자 경험과 시뮬레이터 멀미 관점에서 어떤 차이가 있는가?
• RQ3 humanoid 피드백과 인간 피드백 사이의 충실도, 적응성, 편안함의 트레이드오프는 무엇인가?
• RQ4 g-forces를 전신 의자 모션으로 매핑하는 데 있어서 스무딩된 연속 합성이 임계값 기반 접근보다 더 나은가?

주요 결과

• humanoid 피드백은 피드백 없음 및 컨트롤러만 피드백 대비 몰입감과 리얼리즘을 향상시켰다.
• humanoid 피드백은 즐거움을 증가시켰으나 일부 사용자에서 더 높은 시뮬레이터 멀미로 인해 편안함이 약간 감소했다.
• humanoid 피드백은 더 높은 쾌락적 품질(hedonic quality)을 보였고, 인간 피드백은 더 높은 실용적 품질(pragmatic quality)을 달성하였으며 일관성 vs 적응성의 트레이드오프를 강조했다.
• 지연 분석은 파이프라인이 40 ms 미만으로 유지되었고 대부분의 시간이 역역학(IK)에 소요되어 실시간 촉각 렌더링에 적합하다는 것을 시사했다.
• 인터뷰는 촉실도(리얼리즘), 적응성(예상 가능한 타이밍 대 인간의 뉘앙스), 다재다능함이 humanoid 매개 촉각의 핵심 주제로 제시되었다.
• 참가자들은 전체 순위에서 컨트롤러나 피드백 없음보다 humanoid 피드백 또는 인간 피드백을 선호했다.