[논문 리뷰] Mutual Scene Synthesis for Mixed Reality Telepresence

Mohammad Keshavarzi, Michael Zollhoefer외 3명|arXiv (Cornell University)|2022. 04. 01.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 다중 사용자 혼합현실 원격현지화에서 각 사용자의 실물 공간에 제약을 받는 상황에서도 함께 사용할 수 있고 물리적으로 접근 가능한 가상 환경을 공동으로 생성하기 위해 상호 작용 가능한 시나리오 합성(MSS) 프레임워크를 제안한다. 이 프레임워크는 사용자들의 실물 공간에서 보행 가능한, 앉을 수 있는, 작업할 수 있는 영역을 동시에 최적화하여 기능적으로 일관된 공유 가상 환경을 생성한다. 상호 기능 최적화 모듈과 조건부 딥러닝 기반 시나리오 증강 기법을 결합하여 맥락적으로 타당하고 물리적으로 접근 가능한 가상 시나리오를 합성하며, 수동 분류 방식에 비해 상호 공간 탐지 시간과 정확도에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Remote telepresence via next-generation mixed reality platforms can provide higher levels of immersion for computer-mediated communications, allowing participants to engage in a wide spectrum of activities, previously not possible in 2D screen-based communication methods. However, as mixed reality experiences are limited to the local physical surrounding of each user, finding a common virtual ground where users can freely move and interact with each other is challenging. In this paper, we propose a novel mutual scene synthesis method that takes the participants' spaces as input, and generates a virtual synthetic scene that corresponds to the functional features of all participants' local spaces. Our method combines a mutual function optimization module with a deep-learning conditional scene augmentation process to generate a scene mutually and physically accessible to all participants of a mixed reality telepresence scenario. The synthesized scene can hold mutual walkable, sittable and workable functions, all corresponding to physical objects in the users' real environments. We perform experiments using the MatterPort3D dataset and conduct comparative user studies to evaluate the effectiveness of our system. Our results show that our proposed approach can be a promising research direction for facilitating contextualized telepresence systems for next-generation spatial computing platforms.

연구 동기 및 목표

• 각 사용자가 자신의 국지적 실물 공간에 제약을 받는 다중 사용자 혼합현실 원격현지화 환경에서 공유 가능하고 물리적으로 접근 가능한 가상 환경을 찾는 도전 과제를 해결하기 위해.
• 빈 가상 공간이나 사전 정의된 환경에 의존하는 기존 시스템의 한계를 극복하기 위해, 현실 세계 주변 환경와 공간적 대응 관계를 갖지 못하는 문제를 해결하기 위해.
• 공유 가상 시나리오를 합성하여 실물의 가구 및 실내 레이아웃과 기능적으로 일치시키는 방식으로 자연스러운 이동 및 상호작용을 가능하게 하기 위해.
• 원시적인 실내 스캔 데이터나 세부적인 공간 레이아웃을 직접 공유하지 않음으로써 사용자 프라이버시를 보호하기 위해.
• 다수의 사용자 환경 간에 공통적인 기능적 공간(예: 보행 가능한, 앉을 수 있는, 작업 가능한)을 자동으로 식별하여 수동 작업의 노력과 시간을 줄이기 위해.

제안 방법

• 시스템은 각 참가자의 실물 환경 3D 재구성 결과를 입력으로 받아, 의미적 및 기하학적 주석이 추가된 시나리오 그래프로 표현한다.
• 상호 기능 최적화 모듈은 모든 사용자 공간의 보행 가능한, 앉을 수 있는, 작업 가능한 영역의 최대 교차 영역을 계산하여 모든 참가자가 물리적으로 접근 가능한 영역을 확보한다.
• 조건부 딥러닝 기반 시나리오 증강 파이프라인은 실제 물체(예: 실제 의자 근처)와 기능적 및 공간적으로 일치하는 가상 가구 및 물체를 생성한다.
• 증강 과정은 학습된 시나리오 사전 지식과 조건부 생성 기법을 활용하여 기능 유사성과 공간적 맥락에 기반해 물체를 배치함으로써 현실성과 사용성을 향상시킨다.
• 공동 기능 공간이 충분하지 않은 경우, 비충돌적인 기능적 배치를 사용해 시나리오 생성을 부트스트랩하기 위해 정형화된 초기화 단계를 적용한다.
• 프레임워크는 MatterPort3D 데이터셋을 사용해 평가되었으며, 상호 공간 탐지 성능에 대한 비교 사용자 연구를 통해 검증되었다.

실험 결과

연구 질문

• RQ1 다중 사용자 고유의 실물 환경에서 상호 작용 가능한 기능적 일관성(보행 가능한, 앉을 수 있는, 작업 가능한)을 유지하는 가상 시나리오를 합성할 수 있는가?
• RQ2 자동화된 시스템은 사용자가 수동으로 분류한 방식에 비해 상호 기능적 공간을 얼마나 효과적으로 탐지하고 생성하는가?
• RQ3 조건부 시나리오 증강 기법이 가상 물체와 실물 환경 특징 간의 공간적 및 기능적 일치도를 얼마나 향상시키는가?
• RQ4 고참여자 수나 복잡한 공간 구성 조건에서 상호 시나리오 합성 시스템의 실패 모드와 확장성 한계는 어느 정도인가?
• RQ5 혼합현실 환경에서 공유 공간 경험을 가능하게 하면서도 사용자 프라이버시를 어떻게 보호하는가?

주요 결과

• 제안된 시스템은 수동 분류 방식에 비해 훨씬 더 큰 상호 기능적 공간을 자동으로 탐지하여 탐지 시간을 크게 단축시켰다.
• 사용자 연구 결과, 자동화된 상호 공간 탐지 방법은 인간 레이블 기반 기준 대비 더 높은 정확도와 효율성을 확보했다.
• 조건부 시나리오 증강 과정은 기능적으로 동일한 실물 물체 근처에 가상 물체를 성공적으로 배치하여 공간 일관성과 몰입감을 향상시켰다.
• 상호 기능 최적화 모듈은 사용자 실내 레이아웃이 서로 다를 경우에도 공통의 보행 및 앉을 수 있는 영역을 효과적으로 식별했다.
• 제한된 상호 공간 조건에서도 실제 MatterPort3D 스캔 데이터로부터 타당하고 사용 가능한 가상 환경을 안정적으로 생성하는 데 성공했다.
• 한계점으로는 최적화 제약으로 인해 고참여자 수 상황에서 실패가 발생하고, 반복적 증강 과정에서 가구 배치 순서에 민감하게 반응하는 경향이 있다.