[論文レビュー] XR$^3$: An Extended Reality Platform for Social-Physical Human-Robot Interaction

Chao Wang, Anna Belardinelli+1 more|arXiv (Cornell University)|Jan 18, 2026

Social Robot Interaction and HRI被引用数 0

ひとこと要約

XR3は、VR内でロボットアバターへ操作者の動きと表情信号をマッピングし、視覚・触覚フィードバックを同期させたWOZ風実験用のデータロギングを実現する、触覚ベースの社会的-物理的HRIを可能にする同居型のデュアルヘッドセットXRプラットフォームです。

ABSTRACT

Social-physical human-robot interaction (spHRI) is difficult to study: building and programming robots that integrate multiple interaction modalities is costly and slow, while VR-based prototypes often lack physical contact, breaking users' visuo-tactile expectations. We present XR$^3$, a co-located dual-VR-headset platform for HRI research in which an attendee and a hidden operator share the same physical space while experiencing different virtual embodiments. The attendee sees an expressive virtual robot that interacts face-to-face in a shared virtual environment. In real time, the robot's upper-body motion, head and gaze behavior, and facial expressions are mapped from the operator's tracked limbs and face signals. Because the operator is co-present and calibrated in the same coordinate frame, the operator can also touch the attendee, enabling perceived robot touch synchronized with the robot's visible hands. Finger and hand motion is mapped to the robot avatar using inverse kinematics to support precise contact. Beyond motion retargeting, XR$^3$ supports social retargeting of multiple nonverbal cues that can be experimentally varied while keeping physical interaction constant. We detail the system design and calibration, and demonstrate the platform in a touch-based Wizard-of-Oz study, lowering the barrier to prototyping and evaluating embodied, contact-based robot behaviors.

研究の動機と目的

• 社会的HRIにおける具現化された接触ベースのロボット挙動の迅速なプロトタイピングと評価を促進する。
• VRとMRを組み合わせ、安全で制御可能、触覚豊富な人間-ロボット相互作用を実現する同居型XRフレームワークを提供する。
• オペレータの頭部/手/顔信号をロボットアバターへ再ターゲットするパイプラインを示し、表現豊かな社会的合図と接触の整合を可能にする。
• 二者対 interaction における包括的な多 Modal データ収集を実現し、ロボットパートナーにおけるユーザー体験と信頼を研究する。

提案手法

• 参加者がVRを体験し、オペレータがパススルーMRを用いてリアルタイムにロボットを駆動する同居型デュアルヘッドセット設定。
• オペレータから参加者へ、ロボットの動作・頭部姿勢・表情をWebSocket経由でリアルタイムストリーミング。
• 逆運動学（IK）に基づく頭部/手の姿勢をロボットへ再ターゲットし、現実的な動作と指先接触の正確性を向上。
• 掌と親指/人差し指のタッチ位置合わせをIK中心の制御で実現し、知覚と触覚の同期を図る。
• 接触時の受動的触覚リアリズムを高める3Dプリント指先カバーを使用。
• 視線、手の衝突、表情のブレンドシェイプ、アクションユニットを含む多 Modal データの記録。
• 社会的表現性と文脈（機能的 vs. 遊び心）を変化させる制御済みのスクリプトを用いるWizard-of-Oz型インタラクションプロトコル。
• Appendixで、Quest Proのブレンドシェイプと視線をロボット表情制御へ翻訳する表情マッピングを詳述。

実験結果

リサーチクエスチョン

• RQ1 社会的再ターゲティングのレベル（頭部運動、目の動き、表情）が、ロボット主導の接触時のユーザー体験と信頼にどのような影響を与えるか？
• RQ2 XR3は、接触ベースのHRIにおける視覚-触覚の同時性を保ちつつ、迅速なプロトタイピングを可能にする安全で制御可能なプラットフォームを提供できるか？
• RQ3 同居型XRセットアップを使用したとき、触覚ベースの社会的HRIにおける受容と信頼と相関する行動的・生理的信号は何か？
• RQ4 XR3で収集された多 Modal データを用いて、二者対インタラクションにおけるロボット挙動の訓練とユーザー反応の評価にどう活用できるか？

主な発見

• XR3は、オペレータ信号をリアルタイムに仮想ロボットへ同時マッピングし、VR内で対面の社会的相互作用と同期された触覚手がかりを実現する。
• IKベースの手と指先位置再ターゲティングを通じた正確な接触整合をサポートし、ロボットの触覚の現実感を高める。
• 視線、衝突、表情、発話イベントを含む多 Modalデータパイプラインにより、ユーザー応答と信頼の代理指標の詳細な分析を可能にする。
• 制御可能な社会的表現と文脈を備えたWOZ風研究の予備実験により、触覚ベースのHRIの実現性を示す。
• 3Dプリントの指先カバーはロボットの指先形状と一致する触覚リアリズムを強化する。
• XR3は、安全でユーザー中心の設定で、具現化された接触ベースのロボット挙動の迅速な反復を可能にし、プロトタイピングの障壁を低減する。