[論文レビュー] A Full Body Avatar-Based Telepresence System for Dissimilar Spaces

Leonard Yoon, D.Y. Yang+2 more|arXiv (Cornell University)|Mar 7, 2021

Virtual Reality Applications and Impacts参考文献 23被引用数 8

ひとこと要約

本論文では、異なる物理的空間にいるユーザー間での自然な相互作用を可能にする、ボディフルアバターを用いたテレプレゼンスシステムを提示する。このシステムは、ローカルユーザーの位置、ジェスチャー、頭部の動きをリモートアバターにリターゲティングすることで、空間的および相互作用的文脈を保持する。運動リターゲティングと適応的アバター配置を用いることで、異なる部屋のレイアウトに対しても共同存在感と共有オブジェクトとの相互作用を維持する。

ABSTRACT

We present a novel mixed reality (MR) telepresence system enabling a local user to interact with a remote user through full-body avatars in their own rooms. If the remote rooms have different sizes and furniture arrangements, directly applying a user's motion to an avatar leads to a mismatch of placement and deictic gesture. To overcome this problem, we retarget the placement, arm gesture, and head movement of a local user to an avatar in a remote room to preserve a local user's environment and interaction context. This allows avatars to utilize real furniture and interact with a local user and shared objects as if they were in the same room. This paper describes our system's design and implementation in detail and a set of example scenarios in the living room and office room. A qualitative user study delves into a user experience, challenges, and possible extensions of the proposed system.

研究の動機と目的

• 物理的に異なる部屋にいるユーザー間で、アバターを用いて自然でボディフルの相互作用を可能にすること。
• 異なる環境においてユーザーの動きを直接リモートアバターにマッピングする際の空間的文脈の不一致を解決すること。
• 家具のレイアウトや部屋の寸法が異なる状況下でも、共有オブジェクトを指差すなどのユーザーの相互作用的文脈を保持すること。
• ローカル環境と共有オブジェクトに応じてアバターを最適な位置に動的に配置することで、共同存在感と協働を向上させること。
• 現実世界の環境におけるボディフルアバター型テレプレゼンスのユーザーエクスペリエンス、課題、実用的応用を調査すること。

提案手法

• 空間マッピングとポーズ推定を用いて、ローカルユーザーのボディフルモーション（位置、腕のジェスチャー、頭部の動き）をリモートアバターにリターゲティングする。
• 環境のアフォーダンスに基づいて、リモートルーム内の最適なアバター位置を決定するため、先行研究[29]の配置アルゴリズムを採用する。
• モーショントラッキングを用いて指示的ポイントジェスチャーを検出し、それらをリモートアバター上の対応するポイント動作にマッピングする。
• リアルタイムの空間分析を用いて、アバターが共有仮想オブジェクトや物理的家具と、共に配置されたかのように相互作用することを保証する。
• 実用的導入を目的として、HMDやモーショントラッキングなどの市販のコンsumerハードウェアを用いてシステムを実装する。
• ジェスチャーのリターゲティングとアバターの位置決めを統合することで、空間的に異なる環境間でも一貫した相互作用的文脈を維持する。

実験結果

リサーチクエスチョン

• RQ1 異なるレイアウトを持つリモートルームにボディフルアバターを効果的に配置することで、ユーザーの空間的および相互作用的文脈をどのように保持できるか？
• RQ2 指示的ポイントジェスチャーのリターゲティングが、テレプレゼンスにおいて通信と共同存在感をどの程度向上させるか？
• RQ3 現実の異なる空間においてボディフルアバター型テレプレゼンスのユーザーエクスペリエンスの課題と実感される利点は何か？
• RQ4 ボディフルアバターを備えたテレプレゼンスシステムにおいて、ユーザーは空間的不一致、移動方法、非言語的サインをどのように認識するか？
• RQ5 ボディフルアバターを用いた自然で文脈を保ったリモート協働を可能にするシステムから、どのような実用的応用が生じるか？

主な発見

• 参加者は、システムがリモートパートナーや共有仮想オブジェクトとの自然で文脈を保った相互作用を可能にしたと報告し、共同存在感が向上したと感じた。
• 異なる部屋のレイアウトに対しても、ジェスチャーのリターゲティングと最適な位置へのアバター配置により、相互作用的文脈が効果的に維持された。
• 共有オブジェクトを指差し、リモートアバターが同じターゲットを指差す機能が、効果的なコミュニケーションにとって不可欠であるとユーザーが感じた。
• 空間音声の欠如が顕著な欠点であった。ユーザーは、相手の位置がわからず、切断感や混乱を感じたと報告した。
• 参加者らは、プレゼンテーションのリモート協働、家族とのオンラインショッピング、ブラインドデートといった実用的応用を提案し、高い使いやすさの可能性を示唆した。
• フィードバックでは、特に突然のテレポートによるアバターの移動が、共同存在感と空間認識を損なうという課題が強調された。