[논문 리뷰] XR$^3$: An Extended Reality Platform for Social-Physical Human-Robot Interaction

Chao Wang, Anna Belardinelli외 1명|arXiv (Cornell University)|2026. 01. 18.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

XR3는 공동 위치의 이중 헤드셋 XR 플랫폼으로, 작동자 움직임과 얼굴 신호를 VR의 로봇 아바타에 매핑하여 터치 기반의 사회-물리적 HRI를 가능하게 하며, WOZ 스타일 실험을 위한 동기화된 시각-촉각 피드백 및 데이터 로깅을 제공합니다.

ABSTRACT

Social-physical human-robot interaction (spHRI) is difficult to study: building and programming robots that integrate multiple interaction modalities is costly and slow, while VR-based prototypes often lack physical contact, breaking users' visuo-tactile expectations. We present XR$^3$, a co-located dual-VR-headset platform for HRI research in which an attendee and a hidden operator share the same physical space while experiencing different virtual embodiments. The attendee sees an expressive virtual robot that interacts face-to-face in a shared virtual environment. In real time, the robot's upper-body motion, head and gaze behavior, and facial expressions are mapped from the operator's tracked limbs and face signals. Because the operator is co-present and calibrated in the same coordinate frame, the operator can also touch the attendee, enabling perceived robot touch synchronized with the robot's visible hands. Finger and hand motion is mapped to the robot avatar using inverse kinematics to support precise contact. Beyond motion retargeting, XR$^3$ supports social retargeting of multiple nonverbal cues that can be experimentally varied while keeping physical interaction constant. We detail the system design and calibration, and demonstrate the platform in a touch-based Wizard-of-Oz study, lowering the barrier to prototyping and evaluating embodied, contact-based robot behaviors.

연구 동기 및 목표

• 사회적 HRI에서 구현체에 기반한 로봇 행동의 신속한 프로토타이핑과 평가를 촉진한다.
• VR과 MR을 결합한 공동 위치 XR 프레임워크를 제공하여 안전하고 제어 가능한 촉각 풍부한 인간-로봇 상호작용을 가능하게 한다.
• 연관된 표정 신호와 머리/손 신호를 로봇 아바타로 매핑하는 재타겟링 파이프라인을 시연하여 표현적 사회적 큐와 접촉 정렬을 가능하게 한다.
• 다인 간 상호작용 중 다중 모달 데이터 수집을 통해 사용자 경험과 로봇 파트너에 대한 신뢰를 연구한다.

제안 방법

• 참가자가 VR을 체험하고 운영자는 실시간으로 로봇을 구동하기 위해 패스스루 MR을 사용하는 공동 위치 이중 헤드셋 설정.
• 운영자의 로봇 동작, 머리 포즈, 얼굴 표정을 참가자에게 WebSocket을 통해 실시간 스트리밍.
• IK 기반 재타겟링으로 운영자의 머리/손 포즈를 로봇에 재매핑하여 현실적인 모션과 정확한 fingertips 접촉을 달성.
• palm과 엄지/가리키 finger tip의 IK 중심 제어를 통한 촉각 정렬로 지각된 접촉과 실제 접촉을 동기화.
• 접촉 시 수동 촉감 리얼리즘을 강화하기 위한 3D 프린트 fingertip 커버의 사용.
• 응시, 손 충돌, 얼굴 블렌드셰이프, 액션 유닛 등의 다중 모달 데이터 로깅으로 분석.
• 사회적 표현성을 조절하는 스크립트를 갖춘 Wizard-of-Oz 상호작용 프로토콜(사회적 표현력과 맥락을 제어: 기능적 대 재미ful).
• 로봇 얼굴 제어를 위한 Quest Pro 블렌드셰이프와 시선을 로봇 얼굴 제어로 변환하는 얼굴 표정 매핑을 자세히 다루는 부록

실험 결과

연구 질문

• RQ1 사회적 재타겟링의 수준 변화(머리 움직임, 시선, 얼굴 표정)가 로봇이 시작하는 접촉 중 사용자 경험과 신뢰에 어떤 영향을 미치는가?
• RQ2 XR3가 안전하고 제어 가능한 플랫폼을 제공하여 접촉 기반 HRI에서 시각-촉각 일치를 보존하면서 빠른 프로토타이핑이 가능한가?
• RQ3 공동 위치 XR 설정을 사용할 때 촉각 기반 사회적 HRI에서 사용자 수용 및 신뢰와 어떤 행동적/생리적 신호가 상관관계가 있는가?
• RQ4 XR3에서 수집된 다중 모달 데이터를 어떻게 로봇 행동 학습과 양자 간 상호작용에서의 사용자 반응 평가에 활용할 수 있는가?

주요 결과

• XR3는 운영자 신호를 실시간으로 가상 로봇에 공동 위치에서 매핑하여 VR에서 대면적 사회적 상호작용과 동기화된 촉각 단서를 가능하게 한다.
• IK 기반 재타겟링을 통해 손 및 fingertips 위치를 정밀하게 정렬하여 로봇 촉각의 현실감을 강화한다.
• 다중 모달 데이터 파이프라인이 시선, 충돌, 얼굴 표정, 말 이벤트를 포착하여 사용자 반응과 신뢰 프록시를 미세하게 분석할 수 있게 한다.
• 컨트롤 가능한 사회적 표현성과 맥락으로 WOZ 스타일 연구의 가능성을 입증하는 파일럿 실험.
• 로봇 fingertips 기하학에 맞춘 3D 프린트 커버로 촉각의 현실감을 향상시킨다.
• XR3는 안전하고 사용자 중심의 설정에서 embodied, 촉각 기반 로봇 행동의 빠른 반복을 가능하게 하여 프로토타이핑 장벽을 낮춘다.