[論文レビュー] Mutual Scene Synthesis for Mixed Reality Telepresence

Mohammad Keshavarzi, Michael Zollhoefer+3 more|arXiv (Cornell University)|Apr 1, 2022

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

本稿では、複数人のユーザーの物理的空間にまたがる歩ける・座れる・作業できる領域を統合的に最適化することで、ミックスドリアリティ・トランスペランスのための共有で機能的整合性を持つ仮想環境を生成する、相互シーン合成（MSS）フレームワークを提案する。相互機能最適化モジュールと条件付きディープラーニングによるシーン拡張プロセスを組み合わせ、文脈的に妥当で物理的にアクセス可能な仮想シーンを合成し、相互空間検出の時間と正確性において、手動分類を著しく上回る性能を発揮する。

ABSTRACT

Remote telepresence via next-generation mixed reality platforms can provide higher levels of immersion for computer-mediated communications, allowing participants to engage in a wide spectrum of activities, previously not possible in 2D screen-based communication methods. However, as mixed reality experiences are limited to the local physical surrounding of each user, finding a common virtual ground where users can freely move and interact with each other is challenging. In this paper, we propose a novel mutual scene synthesis method that takes the participants' spaces as input, and generates a virtual synthetic scene that corresponds to the functional features of all participants' local spaces. Our method combines a mutual function optimization module with a deep-learning conditional scene augmentation process to generate a scene mutually and physically accessible to all participants of a mixed reality telepresence scenario. The synthesized scene can hold mutual walkable, sittable and workable functions, all corresponding to physical objects in the users' real environments. We perform experiments using the MatterPort3D dataset and conduct comparative user studies to evaluate the effectiveness of our system. Our results show that our proposed approach can be a promising research direction for facilitating contextualized telepresence systems for next-generation spatial computing platforms.

研究の動機と目的

• 各ユーザーが自らの局所的物理的空間に制約を受けるミックスドリアリティ・トランスペランスにおいて、共有で物理的にアクセス可能な仮想環境を特定する課題に対処すること。
• 空の仮想空間や事前定義された環境に依存する従来のシステムの限界を克服し、現実世界の周囲環境と空間的対応関係を持たないものであること。
• 仮想シーンを合成することで、物理的な家具や部屋のレイアウトと機能的に整合するようにし、自然な移動と相互作用を可能にすること。
• 直接的な部屋スキャンや詳細な空間レイアウトの共有を避けることで、ユーザーのプライバシーを保護すること。
• 複数ユーザーの環境において、歩ける・座れる・作業できるなどの相互機能的空間を自動で特定し、人的作業と時間を削減すること。

提案手法

• システムは、セマンティックおよび幾何的アノテーションを備えたシーングラフとして表現された各参加者の3次元再構築結果を入力とする。
• 相互機能最適化モジュールは、全ユーザーの空間における歩ける・座れる・作業できる領域の最大共通部分を計算し、全参加者が物理的にアクセス可能であることを保証する。
• 条件付きディープラーニングによるシーン拡張パイプラインは、対応する物理的物体（例：実際の椅子の近くに仮想の椅子）と機能的かつ空間的に整合する仮想家具やオブジェクトを生成する。
• 拡張プロセスは、学習されたシーンの事前分布と条件付き生成を用い、機能的類似性と空間的文脈に基づいてオブジェクトを配置することで、リアリズムと使いやすさを向上させる。
• 相互機能的空間が不十分な場合、非衝突な機能的配置を用いてシーン生成を開始するための手続き的初期化ステップを採用する。
• フレームワークはMatterPort3Dデータセットを用いて評価され、相互空間検出性能に関する比較的ユーザー研究によって検証されている。

実験結果

リサーチクエスチョン

• RQ1 ミックスドリアリティ・トランスペランス環境において、複数ユーザーの異なる物理的空間にまたがる歩ける・座れる・作業できる領域を機能的に整合性を保ちながら仮想シーンとして合成できるか？
• RQ2 自動化されたシステムは、ユーザーによる手動分類と比較して、相互機能的空間をどれほど効果的に検出・生成できるか？
• RQ3 条件付きシーン拡張は、仮想オブジェクトと物理的環境要因との間の空間的および機能的整合性をどの程度向上させるか？
• RQ4 参加者数が多い、または空間構成が複雑な状況において、相互シーン合成システムの失敗モードとスケーラビリティの限界は何か？
• RQ5 ミックスドリアリティ環境において、共有空間体験を可能にしつつ、ユーザーのプライバシーをどのように保護できるか？

主な発見

• 提案手法は、手動分類よりも顕著に大きな相互機能的空間を自動で検出でき、検出時間を大幅に短縮した。
• ユーザー研究の結果、自動化された相互空間検出手法は、人為ラベルベースラインと比較して、より高い正確性と効率性を示した。
• 条件付きシーン拡張プロセスは、機能的に同等の物理的オブジェクトの近くに仮想オブジェクトを適切に配置し、空間的一致性と没入感を向上させた。
• 相互機能最適化モジュールは、ユーザーの部屋のレイアウトが異なる場合でも、共通の歩ける領域や座れる領域を効果的に同定できた。
• 実世界のMatterPort3Dスキャンから、相互空間が限定的であっても、妥当で利用可能な仮想環境を生成するという点で、強固な性能を示した。
• 限界として、最適化制約のため、参加者数が多い場面で失敗するケースや、反復的拡張における家具配置順序への感受性が見られた。