[논문 리뷰] eSLAM: An Energy-Efficient Accelerator for Real-Time ORB-SLAM on FPGA Platform

Runze Liu, Jianlei Yang외 2명|arXiv (Cornell University)|2019. 06. 03.

Robotics and Sensor-Based Localization참고 문헌 9인용 수 5

한 줄 요약

eSLAM은 실시간 ORB-SLAM을 위한 이질적 FPGA 기반 가속기로, 특징 추출과 매칭을 최적화하기 위해 하드웨어 友好的하고 회전 대칭적인 BRIEF 서술자를 제안한다. TUM 데이터셋에서 Intel i7 대비 최대 3× 속도 향상과 71× 에너지 효율성 향상을 달성하였으며, ARM Cortex-A9 대비 31× 속도 향상과 25× 높은 에너지 효율성 향상을 보였다.

ABSTRACT

Simultaneous Localization and Mapping (SLAM) is a critical task for autonomous navigation. However, due to the computational complexity of SLAM algorithms, it is very difficult to achieve real-time implementation on low-power platforms.We propose an energy efficient architecture for real-time ORB (Oriented-FAST and Rotated- BRIEF) based visual SLAM system by accelerating the most time consuming stages of feature extraction and matching on FPGA platform.Moreover, the original ORB descriptor pattern is reformed as a rotational symmetric manner which is much more hardware friendly. Optimizations including rescheduling and parallelizing are further utilized to improve the throughput and reduce the memory footprint. Compared with Intel i7 and ARM Cortex-A9 CPUs on TUM dataset, our FPGA realization achieves up to 3X and 31X frame rate improvement, as well as up to 71X and 25X energy efficiency improvement, respectively.

연구 동기 및 목표

• 드론과 모바일 로봇과 같은 임베디드 플랫폼에서 실시간, 저전력 시각 SLAM을 달성하는 데 도전한다.
• 시각 SLAM 시스템에서 ORB 특징 추출 및 매칭의 계산 병목 현상을 극복한다.
• FPGA에서 고처리량과 낮은 메모리 프로파일을 확보할 수 있도록 하드웨어 최적화된 ORB-SLAM 아키텍처를 설계한다.
• ARM 및 Intel 플랫폼의 CPU 기반 구현 대비 에너지 효율성과 프레임 레이트 향상을 도모한다.
• FPGA 가속을 통해 자원 제약이 있는 자율 시스템에서 ORB-SLAM의 실용적 구현을 가능하게 한다.

제안 방법

• BRIEF 서술자를 하드웨어 친화적이며 회전 대칭적인 패턴으로 재구성하여 FPGA에 구현하기 쉽게 개선한다.
• 최대 처리량과 최소 지연 시간을 확보하기 위해 특징 추출 및 매칭을 파이프라인화, 병렬화 및 재스케줄링한 데이터플로우를 구현한다.
• 특징 추출 및 매칭과 같은 가장 계산 복잡도가 높은 단계를 FPGA 가속기로 이관하고, 자세 추정 및 맵 업데이트는 ARM 프로세서에서 수행한다.
• 데이터플로우 재스케줄링과 병렬 처리를 통해 메모리 액세스 패턴을 최적화하고 메모리 프로파일을 감소시킨다.
• 스케일 불변성을 확보하기 위해 4층의 이미지 피라미드를 사용하며, 추가 이미지 층의 하드웨어 인식 처리를 통해 성능을 유지한다.
• Zynq FPGA 플랫폼의 이종 시스템에 가속기를 통합하여 ARM 처리와 FPGA 가속을 조합함으로써 종단 간 실시간 SLAM을 실현한다.

실험 결과

연구 질문

• RQ1 저전력 FPGA 플랫폼에서 ORB-SLAM을 효율적으로 가속화하여 실시간 성능을 달성할 수 있는가?
• RQ2 ORB 서술자 패턴에 어떤 하드웨어 친화적인 수정이 계산 복잡도를 크게 감소시키고 FPGA 구현 효율성을 향상시킬 수 있는가?
• RQ3 FPGA에서 ORB-SLAM 파이프라인에 재스케줄링과 병렬화를 적용할 경우 처리량 향상과 메모리 프로파일 감소에 얼마나 기여하는가?
• RQ4 제안된 eSLAM 가속기의 프레임 레이트와 에너지 효율성은 ARM 및 Intel 플랫폼의 CPU 기반 ORB-SLAM 구현 대비 어떻게 비교되는가?
• RQ5 이종 FPGA-ARM 아키텍처는 운동 및 조도 변화에 대해 강건성을 유지하면서도 실시간 SLAM을 고에너지 효율성으로 달성할 수 있는가?

주요 결과

• TUM 데이터셋에서 eSLAM은 일반 프레임 기준 55.87 fps, 키 프레임 기준 31.45 fps의 프레임 레이트를 달성하였으며, ARM Cortex-A9 대비 31× 속도 향상과 Intel i7 대비 최대 3× 속도 향상을 보였다.
• 프레임당 에너지 소비는 ARM 대비 25× 감소하고 Intel i7 대비 71× 감소하여 뛰어난 에너지 효율성을 입증하였다.
• 특징 추출 지연 시간은 eSLAM에서 9.1 ms로, ARM 대비 32× 향상되고 Intel i7 대비 3.6× 향상되었다.
• 특징 매칭 지연 시간은 eSLAM에서 4.0 ms로, ARM 대비 61.6× 향상되고 Intel i7 대비 4.9× 향상되었다.
• 확장된 이미지 피라미드로 인해 48% 더 많은 픽셀을 처리함에도 불구하고, eSLAM의 특징 추출 지연 시간은 하드웨어 인식 최적화 덕분에 이전 FPGA ORB 추출기 대비 39% 낮았다.
• 제안된 회전 대칭 BRIEF 패턴은 더 효율적인 하드웨어 매핑을 가능하게 하여 복잡도를 감소시키고 처리량을 향상시키며, 서술자의 강건성은 손상시키지 않았다.