[논문 리뷰] Semantic Augmented Reality Environment with Material-Aware Physical Interactions

Long Chen, Karl Francis외 1명|arXiv (Cornell University)|2017. 08. 03.

Augmented Reality Applications참고 문헌 1인용 수 3

한 줄 요약

이 논문은 밀도 높은 SLAM, MINC 데이터셋에서 미세조정된 FCN를 통한 딥 세분화, 그리고 CRF 기반 3D 레이블 융합을 조합하여 가상 및 실제 물체 간의 물리적 상호작용을 물질 인식 기반으로 가능하게 하는 의미론적 증강현실 프레임워크를 제안한다. 이 시스템은 3D 재구성된 환경에 물질별 반응(예: 나무, 유리, 천 등)을 매핑하여 실시간으로 현실적인 물리 기반 상호작용(예: 총구멍, 날아다니는 파편 등)을 구현하며, Unity 기반의 AR 쏘는 게임을 통해 이를 입증한다.

ABSTRACT

In Augmented Reality (AR) environment, realistic interactions between the virtual and real objects play a crucial role in user experience. Much of recent advances in AR has been largely focused on developing geometry-aware environment, but little has been done in dealing with interactions at the semantic level. High-level scene understanding and semantic descriptions in AR would allow effective design of complex applications and enhanced user experience. In this paper, we present a novel approach and a prototype system that enables the deeper understanding of semantic properties of the real world environment, so that realistic physical interactions between the real and the virtual objects can be generated. A material-aware AR environment has been created based on the deep material learning using a fully convolutional network (FCN). The state-of-the-art dense Simultaneous Localisation and Mapping (SLAM) has been used for the semantic mapping. Together with efficient accelerated 3D ray casting, natural and realistic physical interactions are generated for interactive AR games. Our approach has significant impact on the future development of advanced AR systems and applications.

연구 동기 및 목표

• AR 환경에서 실제 세계의 고수준 의미론적 이해를 가능하게 하여 기하학적 인식을 넘어서 물질 의미론을 포함한다.
• 특히 가상 및 실제 물체 간의 현실적인 물리적 상호작용을 지원하는 데에 의미론적 모델링의 부족을 해결한다.
• 실시간으로 작동하며 물질 인식 기반인 AR 프레임워크를 개발하여 대규모 AR 게임과 같은 복잡한 상호작용 애플리케이션을 지원한다.
• 의미론적 레이블을 3D 체적 모델에 통합하여 AR에서 고수준 장면 이해와 저수준 물리 시뮬레이션 사이의 개념적 격차를 해소한다.

제안 방법

• 밀도 높은 3D 재구성과 실시간 카메라 자세 추적을 위해 KinectFusion을 사용하며, 굵은 토대에서 세밀한 ICP 알고리즘을 적용한다.
• VGG-16 기반의 완전 컨volution 네트워크(FCN)를 사용하여 MINC 데이터셋에서 미세조정하여 23개의 물질 카테고리에 대해 픽셀 단위의 의미론적 세분화를 수행한다.
• 2D 의미론적 레이블을 3D 체적 재구성에 투영할 때 공간적 및 맥락적 일관성을 확보하기 위해 CRF(조건부 무작위 필드)를 적용한다.
• 실시간 물리 시뮬레이션 중에 물질 특성을 효율적으로 쿼리하기 위해 3D 레이캐스팅을 가속화하기 위해 오кт리 구조를 통합한다.
• RGB-D 영상 입력, 카메라 자세, 의미론적 3D 모델을 동기화하여 실시간 상호작용을 가능하게 하는 Unity 기반 AR 플러그인을 구축한다.
• 실제 표면의 물질에 기반하여 가상 물체 상호작용에 물질별 물리적 반응(예: 깨짐, 변형, 분열)을 매핑한다.

실험 결과

연구 질문

• RQ1 실세계 표면의 물질 의미론을 정확하고 효율적으로 추출하여 3D 재구성된 AR 환경에 매핑할 수 있는가?
• RQ2 의미론적 세분화와 3D 레이블 융합이 AR에서 가상 및 실제 물체 간의 상호작용의 현실성에 얼마나 기여하는가?
• RQ3 실시간으로 작동하며 의미론적 인식 기반인 AR 시스템을 구축할 수 있는가? 특히 물질별 반응을 지원하는 복잡한 상호작용 애플리케이션(예: AR 게임)을 위한가?
• RQ4 밀도 높은 SLAM과 딥 의미론 학습을 융합함으로써 기하학적 모델링을 초월해 AR 환경의 표현력과 활용도가 어떻게 향상되는가?

주요 결과

• 이 시스템은 KinectFusion과 FCN 기반 의미론적 세분화를 조합하여 의미론적 물질 레이블이 부여된 3D 체적 모델을 성공적으로 생성한다.
• CRF 기반 융합은 2D에서 3D로의 레이블 전이 시 공간 일관성을 보장하여 재구성된 환경 전반에 걸쳐 일관된 의미론적 레이블링을 실현한다.
• 오кт리 가속 레이캐스팅 시스템을 통해 실시간 성능를 확보하여 물리 시뮬레이션 중에 물질 특성을 효율적으로 쿼리한다.
• 프로토타입 AR 쏘는 게임은 현실적인 물질 의존적 물리적 상호작용(예: 나무에 총구멍, 유리의 깨짐, 천의 찢어름)을 시연하여 몰입감 있는 사용자 피드백을 제공한다.
• 이 프레임워크는 고수준 의미론적 이해(물질 유형)를 저수준 물리 행동과 연결함으로써 AR에서 상호작용 모델링의 새로운 수준을 제공한다.
• 의미론적 인식을 AR 시스템에 통합함으로써 의미론 기반 행동을 갖는 복잡한 상호작용 가능한 AR 애플리케이션의 향후 개발을 위한 길을 열어 놓는다.