[논문 리뷰] A survey on real-time 3D scene reconstruction with SLAM methods in embedded systems

Quentin Picard, Stéphane Chevobbe외 2명|arXiv (Cornell University)|2023. 09. 11.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 종합적 서베이는 드론과 AR/VR 기기와 같은 자원 제약이 있는 플랫폼을 대상으로 임베디드 시스템에서 시각-자이로스코픽 SLAM를 사용한 실시간 3D 환경 재구성에 대해 종합적인 분석을 제공한다. 정확도, 실시간 성능, 메모리 사용량, 전력 소비 간의 상호 상충 관계를 평가하며, FPGA 및 SoC에서 메시 및 볼륨 기반 재구성에 대한 하드웨어-소프트웨어 공동 설계 전략을 강조한다. 실제 구현 사례에서는 최대 90 FPS의 프레임 레이트와 100ms 이내의 지연 시간을 달성하였다.

ABSTRACT

The 3D reconstruction of simultaneous localization and mapping (SLAM) is an important topic in the field for transport systems such as drones, service robots and mobile AR/VR devices. Compared to a point cloud representation, the 3D reconstruction based on meshes and voxels is particularly useful for high-level functions, like obstacle avoidance or interaction with the physical environment. This article reviews the implementation of a visual-based 3D scene reconstruction pipeline on resource-constrained hardware platforms. Real-time performances, memory management and low power consumption are critical for embedded systems. A conventional SLAM pipeline from sensors to 3D reconstruction is described, including the potential use of deep learning. The implementation of advanced functions with limited resources is detailed. Recent systems propose the embedded implementation of 3D reconstruction methods with different granularities. The trade-off between required accuracy and resource consumption for real-time localization and reconstruction is one of the open research questions identified and discussed in this paper.

연구 동기 및 목표

• 자원 제약이 있는 임베디드 플랫폼에서 시각-자이로스코픽 SLAM를 사용한 실시간 3D 환경 재구성의 구현을 분석하기 위해.
• 임베디드 SLAM 시스템에서 정확도, 계산 비용, 메모리 사용량, 전력 소비 간의 상호 상충 관계를 평가하기 위해.
• 저전력 하드웨어에 루프 클로징, 딥 러닝, 고해상도 재구성(메시/볼륨)을 구현할 때의 열린 과제를 규명하기 위해.
• FPGA, SoC, COTS 플랫폼에서 하드웨어 최적화된 3D 재구성 파이프라인의 기존 구현 사례를 조사하기 위해.
• 고자원 알고리즘 개발과 실제 임베디드 환경 배포 간 격차를 규명하여 향후 연구를 이끌기 위해.

제안 방법

• 논문은 센서 입력(카메라, IMU)에서 시작하여 특징 추출, 오도메트리, 매핑 단계를 포함하는 전통적 SLAM 파이프라인을 검토한다.
• 희소 점군, 서페이스 요소, 메시, 볼륨 기반 부피 표현 방식을 사용한 시각-자이로스코픽 SLAM 방법을 평가한다.
• 임베디드 플랫폼에서 실시간 성능를 확보하기 위한 하드웨어 가속 기법, 특히 FPGA 및 SoC 구현을 분석한다.
• 컴퓨터적으로 부담이 큰 작업(예: 레이캐스팅, 최적화)을 하드웨어 가속기로 이관하면서도 CPU는 제어 및 고수준 논리 처리에 사용하는 공학 설계 전략을 검토한다.
• Intel NUC, ZCU102 FPGA, DE1/DE5 보드와 같은 플랫폼에서 FLaME(메시) 및 Voxblox(볼륨)의 구현 사례를 비교하며 성능 및 정확도 간 상충 관계를 분석한다.
• 특히 하이브리드 모델 기반 및 러닝 기반 SLAM 파이프라인에서 특징 검출 및 기술자료 추출을 위한 딥 러닝 통합 전략을 논의한다.

실험 결과

연구 질문

• RQ1 제한된 전력, 메모리, 계산 자원을 가진 임베디드 시스템에서 SLAM를 사용한 실시간 3D 재구성 구현의 주요 과제는 무엇인가?
• RQ2 점군, 메시, 볼륨 등 다양한 3D 표현의 해상도 수준이 임베디드 SLAM에서 정확도와 자원 소비에 어떤 영향을 미치는가?
• RQ3 레이캐스팅 및 최적화와 같은 복잡한 재구성 작업에 대해 실시간 성능를 확보하기 위한 하드웨어 가속 전략(FPGA, SoC 등)은 무엇인가?
• RQ4 자원 제약을 초과하지 않으면서도 딥 러닝을 임베디드 SLAM 파이프라인에 효과적으로 통합하는 방법은 무엇인가?
• RQ5 자원 제약이 있는 임베디드 SLAM 시스템에서 루프 클로징 기능과 계산 비용 간의 상충 관계는 어떻게 되는가?

주요 결과

• FLaME 메시 재구성 방법은 320×256 해상도의 카메라를 60 FPS로 사용할 때 Intel Skull Canyon NUC에서 90 FPS 이상의 성능를 기록하여 높은 실시간 성능를 입증하였다.
• i7 CPU와 스테레오 카메라를 탑재한 MAV에서 Voxblox 기반 재구성이 총 시스템 계산 시간이 250ms 미만이었으며, 이는 실시간 운영을 가능하게 하였다.
• Xilinx ZCU102 FPGA에서 KinectFusion는 320×240 입력으로 27.5 FPS로 실행되었지만, 최적화 과정에서 정확도가 0.018m에서 0.08m로 저하되었다.
• InfiniTAM은 고성능 DE5 PCIe 보드에서 44 FPS, 저비용 DE1 FPGA에서는 2 FPS로 실행되어 하드웨어 자원의 가용성에 매우 강하게 의존하는 것으로 나타났다.
• 연구에서 메시 및 볼륨 기반 재구성 방법 중 실제로 MAV나 하드웨어 가속을 통한 임베디드 환경에 성공적으로 구현된 사례가 소수에 불과하여, 임베디드 배포 분야에서 여전히 연구 격차가 존재함을 확인하였다.
• 논문은 루프 클로징 통합이 여전히 주요 과제로 남아 있으며, 특히 저전력 임베디드 시스템에서 높은 계산 요구량으로 인해 어려움을 겪고 있음을 규명하였다.