[논문 리뷰] Fast and Accurate Semantic Mapping through Geometric-based Incremental Segmentation

Yoshikatsu Nakajima, Keisuke Tateno외 2명|arXiv (Cornell University)|2018. 03. 07.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 5

한 줄 요약

이 논문은 기하적 세그먼트에 클래스 확률을 할당하는 방식으로 개별 서펠 단위가 아니라, 실시간으로 확장 가능하며 계산 및 메모리 오버헤드를 크게 줄이는 의미적 매핑 시스템을 제안한다. 저해상도 CNN을 기하적 세그먼테이션과 확률적 융합하는 방식으로, 표준 하드웨어에서 30.9 Hz의 프레임 레이트를 달성하면서 NYUv2에서 최신 기술 수준의 정확도를 유지하며 후처리 없이도 성능을 발휘한다.

ABSTRACT

We propose an efficient and scalable method for incrementally building a dense, semantically annotated 3D map in real-time. The proposed method assigns class probabilities to each region, not each element (e.g., surfel and voxel), of the 3D map which is built up through a robust SLAM framework and incrementally segmented with a geometric-based segmentation method. Differently from all other approaches, our method has a capability of running at over 30Hz while performing all processing components, including SLAM, segmentation, 2D recognition, and updating class probabilities of each segmentation label at every incoming frame, thanks to the high efficiency that characterizes the computationally intensive stages of our framework. By utilizing a specifically designed CNN to improve the frame-wise segmentation result, we can also achieve high accuracy. We validate our method on the NYUv2 dataset by comparing with the state of the art in terms of accuracy and computational efficiency, and by means of an analysis in terms of time and space complexity.

연구 동기 및 목표

• 로봇 및 AR 애플리케이션에서 실시간 의미적 3D 매핑의 높은 계산 비용을 해결한다.
• 장면 복잡도가 증가함에 따라 비효율적으로 확장되는 서펠 수준에서의 클래스 확률 업데이트 문제를 해결한다.
• 표준 하드웨어에서 실시간 성능(30Hz 이상)을 유지하면서도 높은 정확도를 확보한다.
• 각 서펠이 아닌 세그먼트 단위로 클래스 확률을 저장하여 메모리 사용량을 줄인다.
• 의미적 레이블링에서 조건부 랜덤 필드(CRFs)와 같은 후처리 기법이 필요 없도록 한다.

제안 방법

• 정확한 카메라 추적 및 3D 재구성을 위해 서펠 기반 SLAM 프레임워크(InfiniTAM v3)를 사용하여 밀도 높은 3D 지도를 점진적으로 구축한다.
• 표면 법선과 깊이 불연속성 기반으로 기하학적 기반의 점진적 세그먼테이션을 적용하여 서펠을 의미 있는 영역으로 그룹화한다.
• 개별 서펠이 아닌 각 세그먼트에 클래스 확률을 할당함으로써 시간 및 공간 복잡도를 감소시킨다.
• 실시간으로 세그먼트 경계를 정밀화하기 위해 경량의 저해상도 CNN(40×30 입력)을 사용하며, 프레임당 추론 시간은 단 19.32ms이다.
• 매 프레임에서 가시 세그먼트만 업데이트하는 확률적 전략을 통해 업데이트된 클래스 확률을 융합함으로써 불필요한 계산을 최소화한다.
• 현재 카메라 자세에서 벉화된 뷰를 이용해 2D에서 3D로 레이블 전이를 수행함으로써 3D 지도 전반에 걸쳐 일관된 의미적 레이블링을 보장한다.

실험 결과

연구 질문

• RQ1 표준 하드웨어에서 실시간 배포에 적합한 정확성과 효율성을 동시에 확보할 수 있는가?
• RQ2 서펠 단위가 아닌 세그먼트 단위에서 클래스 확률을 할당할 경우 시간 및 공간 복잡도가 상당히 감소하는가?
• RQ3 기하학적 세그먼테이션과 함께 사용될 때 저해상도 CNN이 높은 의미적 세그먼테이션 정확도를 달성할 수 있는가?
• RQ4 후처리 없이 최신 기술 수준의 접근법과 비교했을 때, 이 방법은 프레임 레이트, 메모리 사용량, 정확도 측면에서 어떤가?
• RQ5 의미 정보를 통합할 경우 기하학적 세그먼테이션 품질은 어느 정도 향상되는가?

주요 결과

• GeForce GTX 1080에서 30.9 Hz의 프레임 레이트를 달성하여, 이전의 방법들인 SemanticFusion(25.3 Hz)과 Hermans et al.(4 Hz)를 뛰어넘으며, 모든 프레임을 처리한다.
• 클래스 확률 업데이트 평균 시간은 1.37ms로, SemanticFusion의 41.1ms 대비 상당한 시간 복잡도 감소를 보여준다.
• 클래스 확률 저장을 서렐 단위(Nₛ = 844,260)에서 세그먼트 단위(Nₗ = 1032)로 전환함으로써, 메모리 사용량은 SemanticFusion 대비 단 0.08%로 감소한다.
• NYUv2 데이터셋에서 최신 기술 수준의 접근법과 유사한 의미적 정확도를 확보하였으며, 전체 정확도 버전과 비교해 mIoU에서 0.8% 이하의 감소만을 보였다.
• 의미 인식 경계의 통합은 기하학적 세그먼테이션 품질을 향상시켜 노이즈를 감소시키고 의미 경계를 더 잘 포착함을 정성적 비교를 통해 입증하였다.
• CRF와 같은 후처리 기법이 필요 없어져 파이프라인을 단순화하고 계산 오버헤드를 감소시켰다.