[論文レビュー] MetaSpace II: Object and full-body tracking for interaction and navigation in social VR

Misha Sra, Chris Schmandt|arXiv (Cornell University)|Dec 9, 2015

Virtual Reality Applications and Impacts参考文献 52被引用数 7

ひとこと要約

MetaSpace II は、RGB-D センサー（Kinect）と HMD（Oculus Rift DK2）を用いたフルボディおよびオブジェクトトラッキングを通じて、現実世界と仮想空間の間で1:1の空間マッピングを実現するソーシャルVRシステムである。物理的オブジェクトの操作を仮想アクションにリンクさせ、パassive hapticsを活用することで、共有仮想空間における没入感、移動のリアリズム、社会的相互作用の質を向上させる。

ABSTRACT

MetaSpace II (MS2) is a social Virtual Reality (VR) system where multiple users can not only see and hear but also interact with each other, grasp and manipulate objects, walk around in space, and get tactile feedback. MS2 allows walking in physical space by tracking each user's skeleton in real-time and allows users to feel by employing passive haptics i.e., when users touch or manipulate an object in the virtual world, they simultaneously also touch or manipulate a corresponding object in the physical world. To enable these elements in VR, MS2 creates a correspondence in spatial layout and object placement by building the virtual world on top of a 3D scan of the real world. Through the association between the real and virtual world, users are able to walk freely while wearing a head-mounted device, avoid obstacles like walls and furniture, and interact with people and objects. Most current virtual reality (VR) environments are designed for a single user experience where interactions with virtual objects are mediated by hand-held input devices or hand gestures. Additionally, users are only shown a representation of their hands in VR floating in front of the camera as seen from a first person perspective. We believe, representing each user as a full-body avatar that is controlled by natural movements of the person in the real world (see Figure 1d), can greatly enhance believability and a user's sense immersion in VR.

研究の動機と目的

• ユーザーが物理空間を自由に歩行しつつ空間認識を維持できるようにすることで、現在のVRシステムに見られるフルボディの存在感と自然な移動の欠如を是正すること。
• パassive hapticsとリアルタイムのオブジェクトトラッキングを通じて物理的・仮想的インタラクションを同期させることで、ユーザーの没入感と存在感を高めること。
• アバターが現実の動きを反映し、物理的オブジェクトの操作を通じて相互作用が調整される多ユーザーのソーシャルVR体験を支援すること。
• 自然な歩行とボディアバターによる本体感覚のフィードバックを通じて、運動障害や感覚的不一致を軽減し、VRにおける悪心を緩和すること。
• 現実世界の3Dスキャンを仮想環境にシームレスにマッピングできるスケーラブルで低コストなフレームワークを構築することにより、ナビゲーションとインタラクションを円滑にすること。

提案手法

• システムは現実の物理的環境の3Dスキャンを構築し、仮想世界をその上に重ねることで、現実と仮想のレイアウトの間で空間的対応を保証する。
• RGB-Dカメラ（Kinect）がリアルタイムでユーザーのスケルトンとオブジェクトの位置をトラッキングし、フルボディアバター制御とオブジェクトインタラクションを可能にする。
• 現実世界の物理的オブジェクトが仮想世界の同等物にマッピングされ、現実のオブジェクトをつかむと、それに応じた仮想操作と触覚フィードバックが発生する。
• Oculus Rift DK2 は頭部の動きをトラッキングし、ファーストパーソン視点のビジュアル出力を提供する。クライアント・サーバーアーキテクチャにより、複数ユーザーの体験が同期される。
• 仮想環境は現実とは異なるテクスチャリングを施すことで、同じ物理空間を使用しても別世界にいる感覚を強化する。
• ユーザーは自然に歩行し、手を伸ばし、物理的オブジェクトを操作することで、仮想世界でも同様の反応が得られるようにする。

実験結果

リサーチクエスチョン

• RQ1 フルボディトラッキングと物理的オブジェクトのインタラクションは、ソーシャルVRにおける没入感と没入感をどのように向上させるか？
• RQ2 物理的オブジェクトの操作に起因するパassive hapticsは、VRにおけるユーザーの関与度とタスクパフォーマンスをどの程度向上させるか？
• RQ3 現実世界の環境を仮想世界に1:1でマッピングすることで、HMDベースのVRにおける安全な自由な歩行と衝突リスクの低減が可能になるか？
• RQ4 低コストのRGB-Dセンサーを用いたリアルタイムの骨格およびオブジェクトトラッキングは、VRにおける複数ユーザーのソーシャルインタラクションをどの程度支援するか？
• RQ5 本体感覚（フルボディアバターが現実の動きを制御する）は、VRにおけるソーシャルプレゼンスと自然な相互作用をどのように高めるか？

主な発見

• ユーザーは物理空間を自然に歩行しつつ、壁や家具などの現実世界の障害物を避けることができる空間認識を維持している。
• 自然な移動とフルボディアバターの表現により、一貫した本体感覚と前庭覚のフィードバックが得られ、ユーザーの没入感が向上し、悪心が軽減されている。
• 物理的オブジェクトの操作に起因するパassive hapticsは、仮想インタラクションの説得力と直感的なオブジェクト操作の支援を顕著に向上させている。
• 現実世界の3Dスキャンを仮想環境に1:1でマッピングすることで、シームレスなナビゲーションが可能となり、複数ユーザーの共存が共有仮想空間で実現されている。
• システムは、同期されたアバターの動き、リアルタイムのオブジェクトインタラクション、共有環境認識を備えた、複数ユーザーのソーシャルVR体験を成功裏に実現している。
• 100人以上のユーザーがシステムをテストし、教育、療法、社会的相互作用の分野における実用的応用の可能性と実現可能性が検証された。