[논문 리뷰] SceneGen: Generative Contextual Scene Augmentation using Scene Graph Priors

Mohammad Keshavarzi, Aakash Parikh외 4명|arXiv (Cornell University)|2020. 09. 25.

Robotics and Sensor-Based Localization참고 문헌 53인용 수 13

한 줄 요약

SceneGen은 실세계 3D 환경에서 가상 객체의 최적이고 맥락적으로 타당한 위치를 예측하기 위해 명시적 공간 시나리오 그래프와 커널 밀도 추정을 사용하는 생성형 프레임워크이다. 실세계 3D 스캔(예: Matterport3D)으로부터 얻은 위상적 관계를 학습함으로써 위치 및 방향에 대한 확률 지도를 생성하여, 무작위 또는 표면 기반 배치 방식보다 뛰어난 현실감 있는 실시간 증강현실 오브제 증강을 가능하게 한다.

ABSTRACT

Spatial computing experiences are constrained by the real-world surroundings of the user. In such experiences, augmenting virtual objects to existing scenes require a contextual approach, where geometrical conflicts are avoided, and functional and plausible relationships to other objects are maintained in the target environment. Yet, due to the complexity and diversity of user environments, automatically calculating ideal positions of virtual content that is adaptive to the context of the scene is considered a challenging task. Motivated by this problem, in this paper we introduce SceneGen, a generative contextual augmentation framework that predicts virtual object positions and orientations within existing scenes. SceneGen takes a semantically segmented scene as input, and outputs positional and orientational probability maps for placing virtual content. We formulate a novel spatial Scene Graph representation, which encapsulates explicit topological properties between objects, object groups, and the room. We believe providing explicit and intuitive features plays an important role in informative content creation and user interaction of spatial computing settings, a quality that is not captured in implicit models. We use kernel density estimation (KDE) to build a multivariate conditional knowledge model trained using prior spatial Scene Graphs extracted from real-world 3D scanned data. To further capture orientational properties, we develop a fast pose annotation tool to extend current real-world datasets with orientational labels. Finally, to demonstrate our system in action, we develop an Augmented Reality application, in which objects can be contextually augmented in real-time.

연구 동기 및 목표

• 공간 컴퓨팅 애플리케이션을 위한 다양한 실세계 3D 환경에서 맥락적으로 적절한 가상 오브제 배치 문제를 해결하기 위해.
• 기존 AR 시스템이 단순한 표면 기반 배치에 의존하거나 환경 이해 능력이 부족한 점을 보완하기 위해.
• 객체와 방 사이의 위상적 관계를 명시적으로 모델링하여 더 현실적이고 기능적인 가상 콘텐츠 증강을 가능하게 하기 위해.
• 사용자 선호도를 반영할 수 있도록 열매 확률 배치 옵션을 열매 지도를 통해 제공하는 생성 모델을 개발하기 위해.
• 실세계 3D 스캔 데이터와 방향 레이블이 부여된 프레임워크를 기반으로 훈련된 모델을 활용해 실시간 맥락 인지 AR 증강을 구현하기 위해.

제안 방법

• 객체, 객체 그룹, 방 간의 위상적 관계를 인코딩하는 새로운 공간 시나리오 그래프 표현을 구축한다.
• 실세계 3D 스캔에서 추출한 이전 공간 시나리오 그래프로부터 다변량 조건부 지식 모델을 구축하기 위해 커널 밀도 추정(KDE)을 사용한다.
• 기존 데이터셋의 핵심 부족 요소인 방향 레이블을 보완하기 위해 빠른 포즈 레이블링 툴을 개발한다.
• KDE 기반 지식 모델을 기반으로 훈련된 생성 모델을 통해 가상 오브제 배치를 위한 위치 및 방향 확률 지도를 예측한다.
• 실시간 AR 애플리케이션을 구현하여 확률 지도에서 샘플링하여 라이브 환경에 맥락적으로 가상 오브제를 배치한다.
• 객체를 하나씩 추가하는 반복적 배치 전략을 적용하며, 후속 배치는 이전 배치에 조건화된다.

실험 결과

연구 질문

• RQ1 실세계 환경의 공간 관계를 활용해 AR에서의 가상 오브제 배치를 어떻게 맥락적으로 타당하게 만들 수 있는가?
• RQ2 명시적 위상 특징(예: 객체 간 거리, 방 경계)이 암묵적 모델 대비 오브제 배치의 현실감을 얼마나 향상시키는가?
• RQ3 실세계 3D 시나리오 사전 지식을 기반으로 훈련된 생성 모델이 인간의 선호도와 일치하는 배치 예측을 생성할 수 있는가?
• RQ4 방향 사전 지식은 공간 컴퓨팅에서의 가상 오브제 증강 품질과 현실감에 어떤 영향을 미치는가?
• RQ5 고확률 배치의 열매 지도는 사용자 수용도와 배치 선택의 타당성 인식을 향상시키는가?

주요 결과

• 사용자 연구를 통해 SceneGen은 무작위 또는 표면 기반 배치 방식에 비해 가상 오브제 배치의 타당성을 크게 향상시킨다.
• 사용자 연구 결과, SceneGen의 열매 지도를 활용한 증강 환경은 단일 최상위 예측만을 사용한 경우보다 더 현실적으로 평가되었다. 이는 다수의 옵션을 시각화하는 데서 유의미한 가치가 있음을 시사한다.
• 모델의 상위 5개 예측 중 대부분이 실제 위치를 포함하고 있어 인간의 오브제 배치 직관과 강한 일치를 보였다.
• 다양한 사용자가 오브제 배치에 대해 서로 다른 선호도를 보이며, SceneGen의 열매 지도를 통해 사용자는 높은 확률의 다양한 옵션 중에서 선택할 수 있어 사용자 만족도가 향상된다.
• 침대와 같은 큰 오브제의 경우 확률 영역이 매우 제약받고 뭉쳐져 있는 반면, 작은 오브제나 장식용 오브제의 경우 선호 위치의 다양성이 더 크다.
• 실세계 3D 데이터 기반 생성 모델을 활용해 실시간 AR 증강을 성공적으로 실현함으로써, 공간 컴퓨팅 워크플로우에서의 실용성과 가능성을 입증했다.