[논문 리뷰] DeepPerimeter: Indoor Boundary Estimation from Posed Monocular Sequences

Ameya Phalak, Zhao Chen외 4명|arXiv (Cornell University)|2019. 04. 25.

Advanced Vision and Imaging참고 문헌 52인용 수 9

한 줄 요약

DeepPerimeter는 포즈가 부여된 단일 영상 시퀀스에서 전체 메트릭 스케일의 실내 외곽선(외벽 구조)을 추정하는 딥러닝 파이프라인을 제안한다. 다중 시야 영상 기반 깊이 추정, 의미론적 벽 세그멘테이션, 그리고 새로운 딥 뉴럴 비지도 학습 클러스터링 네트워크(ClusterNet)를 결합함으로써 LiDAR나 사전 정의된 실내 구조 형태 없이도 정확한 평면형 외곽선 지도를 생성하며, ScanNet 및 FloorNet 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

We present DeepPerimeter, a deep learning based pipeline for inferring a full indoor perimeter (i.e. exterior boundary map) from a sequence of posed RGB images. Our method relies on robust deep methods for depth estimation and wall segmentation to generate an exterior boundary point cloud, and then uses deep unsupervised clustering to fit wall planes to obtain a final boundary map of the room. We demonstrate that DeepPerimeter results in excellent visual and quantitative performance on the popular ScanNet and FloorNet datasets and works for room shapes of various complexities as well as in multiroom scenarios. We also establish important baselines for future work on indoor perimeter estimation, topics which will become increasingly prevalent as application areas like augmented reality and robotics become more significant.

연구 동기 및 목표

• 실내 레이아웃 추정 분야에서 표준화 부족 문제를 해결하기 위해, 실용적이고 광범위하게 이용 가능한 입력 모odal리티인 포즈가 부여된 단일 영상 시퀀스를 제안한다.
• 일반적인 센서 데이터에서 실내 공간의 전체 3D 외곽선을 추정하는 강력한 엔드 투 엔드 방법을 개발한다.
• 비용이 많이 드는 LiDAR 스캔이나 사전 정의된 실내 형태의 목록에 의존하지 않도록 한다.
• 증강현실 및 로봇 주행과 같은 후속 응용 분야를 위한 기초를 마련하기 위해 기하학적으로 의미 있는 실내 프레임워크를 제공한다.
• 완전한 시cene 이해를 향한 핵심 단계로서 실내 외곽선 추정을 위한 새로운 벤치마크를 설정한다.

제안 방법

• 파이프라인은 포즈가 부여된 RGB 영상 시퀀스를 기반으로 한 다중 시야 스테레오 기반 깊이 추정으로 시작되며, 단일 영상 기반 단일 깊이 예측보다 정확도를 향상시킨다.
• 딥 뉴럴 의미론적 세그멘테이션 네트워크가 추정된 깊이 맵에서 벽 포인트를 분리한다.
• 벽 포인트는 3차원 공간으로 투영되어 포인트 클라우드를 형성하고, 이는 새로운 딥 뉴럴 비지도 학습 클러스터링 네트워크인 ClusterNet을 사용해 군집화된다. 이 네트워크는 합성 데이터로 훈련된다.
• ClusterNet은 같은 벽 평면에 속하는 포인트를 그룹화하도록 학습함으로써 장거리 평면 영역을 탐지하도록 최적화된다.
• 결과로 생성된 클러스터는 평면 경계로 변환되어 최종 외곽선 지도를 형성한다.
• 이 방법은 두 가지 핵심 모듈을 포함한다: 비벽 포인트를 걸러내기 위한 의미론적 세그멘테이션과 내부 벽을 제거하기 위한 알파 컬링(α culling)으로, 잡음 있는 모서리 수를 감소시킨다.

실험 결과

연구 질문

• RQ1 포즈가 부여된 단일 영상 시퀀스만으로도 정확하게 전체 메트릭 스케일의 실내 외곽선을 추정할 수 있는가?
• RQ2 LiDAR나 사전 정의된 실내 유형에 의존하는 기존 레이아웃 추정 기법과 비교해 본다면, 제안된 방법은 어떤 성능을 보이는가?
• RQ3 다중 시야 깊이 추정과 비지도 학습 클러스터링을 활용할 경우, 가림된 모서리나 복잡한 실내 기하학적 형태에 대해 얼마나 강건한가?
• RQ4 지식 기반 평면 레이블 없이도 제안된 ClusterNet이 3차원 벽 포인트를 일관된 평면 영역으로 그룹화하는 데 얼마나 효과적인가?
• RQ5 건축적 가정(예: 맨해튼 기하학)과 하이퍼파라미터(예: 병합 임계값)는 최종 외곽선 정확도에 어떤 영향을 미치는가?

주요 결과

• Semantic segmentation과 alpha culling을 모두 사용할 경우, DeepPerimeter는 ScanNet 데이터셋에서 2D IoU 0.760을 달성하여 아블레이션 버전들을 능가한다.
• 의미론적 세그멘테이션의 포함으로 모서리 오차는 0.611m에서 0.591m로 감소하고, 잡음 있는 모서리 비율은 100개의 참조 모서리당 0.480%에서 0.359%로 감소한다.
• Alpha culling을 제거할 경우, 잡음 있는 모서리 비율은 100개의 참조 모서리당 0.856%로 증가하여 내부 벽 포인트가 잘못 포함되어 오류 있는 레이아웃이 생성된다.
• 이 방법은 다양한 실내 형태와 다중 실내 구조 시나리오에서도 강력한 성능을 유지하며, 단순 기하학적 형태를 넘어서 일반화 능력을 입증한다.
• 아블레이션 연구 결과, 잡음 있는 양성 결과를 최소화하고 모서리 정확도를 향상시키기 위해 세그멘테이션과 알파 컬링이 모두 필수적임을 확인한다.
• 이 파이프라인은 모서리나 가장자리 가림에 대해 강건한 편이다. 이는 고립된 모서리 검출이 아니라 전체 벽 평면의 군집화에 의존하기 때문이다.