[논문 리뷰] FPGA-based ORB Feature Extraction for Real-Time Visual SLAM

Weikang Fang, Yanjun Zhang외 2명|arXiv (Cornell University)|2017. 10. 18.

Robotics and Sensor-Based Localization참고 문헌 5인용 수 3

한 줄 요약

이 논문은 실시간 시각 SLAM에서 ORB 특징 추출을 위한 FPGA 기반 하드웨어 가속기를 제안하며, 8비트 워드 길이와 파ip라인 처리를 최적화하여 67 FPS를 달성하고, 인텔 코어 i5 대비 83% 낮은 에너지 소비와 ARM Krait 대비 51% 낮은 지연 시간을 기록하여 모바일 및 IoT 장치에서 성능과 에너지 효율성을 크게 향상시킨다.

ABSTRACT

Simultaneous Localization And Mapping (SLAM) is the problem of constructing or updating a map of an unknown environment while simultaneously keeping track of an agent's location within it. How to enable SLAM robustly and durably on mobile, or even IoT grade devices, is the main challenge faced by the industry today. The main problems we need to address are: 1.) how to accelerate the SLAM pipeline to meet real-time requirements; and 2.) how to reduce SLAM energy consumption to extend battery life. After delving into the problem, we found out that feature extraction is indeed the bottleneck of performance and energy consumption. Hence, in this paper, we design, implement, and evaluate a hardware ORB feature extractor and prove that our design is a great balance between performance and energy consumption compared with ARM Krait and Intel Core i5.

연구 동기 및 목표

• 모바일 및 IoT 장치에서 시각 SLAM의 높은 계산 및 에너지 비용 문제를 해결한다.
• 특징 추출이 SLAM 파이프라인에서 주요 병목 현상임을 규명하며, CPU 자원과 에너지의 50% 이상을 소비한다.
• 지연 시간과 에너지 소비를 줄이기 위해 ORB 특징 추출을 위한 하드웨어 가속기를 설계한다.
• 정확도를 유지하면서도 워드 길이를 줄여(21비트에서 8비트로) 방향 계산 유닛을 최적화한다.
• 성능, 처리량, 에너지 효율성 측면에서 ARM Krait 및 인텔 코어 i5와의 비교를 통해 FPGA 기반 ORB 가속기를 평가한다.

제안 방법

• 데이터 액세스, 제어, 특징 추출을 위한 전용 모듈을 갖춘 파이ipelined 아키텍처를 사용하여 FPGA 기반 ORB 특징 추출기를 구현한다.
• 21비트 고정소수점 값에서 8비트 워드 길이로 자르는 두 단계 과정을 통해 방향 계산 유닛을 최적화한다: 겹치는 상위 0 제거 및 N비트로 자르기.
• 워드 길이 감소를 적용하여 LUT 및 레지스터 사용량을 최소화—LUT는 65%, 레지스터는 82% 감소.
• 가우스 분포를 통해 회전 불변성 있는 점 쌍을 선택하고, 계산된 방향을 사용해 회전하는 스티어드 BRIEF 서술자 계산 방법을 적용한다.
• 카메라와 처리 유닛 간 효율적인 데이터 전송을 위해 DMA를 갖춘 AXI 기반 FPGA 시스템 온 프로그램 아키텍처에 가속기를 통합한다.
• 워드 길이 자르기로 인한 오차를 정량화하기 위해 다음 지표를 사용한다: $ \text{Error} = \sqrt{(x' - x'_N)^2 + (y' - y'_N)^2} $, 특징 점 좌표에 미치는 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 일반 목적 CPU 및 모바일 프로세서 대비 하드웨어 가속된 ORB 특징 추출기가 실시간 시각 SLAM에서 지연 시간과 에너지 소비를 줄일 수 있는가?
• RQ2 방향 계산 유닛의 워드 길이를 21비트에서 8비트로 줄일 경우 정확도와 하드웨어 자원 사용에 어떤 영향을 미치는가?
• RQ3 ORB 특징 추출을 위한 방향 계산 유닛에서 정밀도와 자원 효율성 간의 상호 교환 관계는 어떠한가?
• RQ4 FPGA 기반 가속이 시각 SLAM 시스템의 처리량과 에너지 효율성 향상에 어느 정도 기여하는가?
• RQ5 감소된 정밀도를 가진 각도 계산에도 불구하고 제안된 ORB 가속기가 충분한 정확도를 유지하여 강력한 SLAM 성능을 확보할 수 있는가?

주요 결과

• FPGA 기반 ORB 특징 추출기는 스트라티스 V FPGA에서 67 FPS의 처리량을 달성하여 ARM Krait(33 FPS) 및 인텔 코어 i5(40 FPS)를 크게 능가한다.
• 프레임당 지연 시간은 14.8ms로, ARM Krait 대비 51% 향상되고 인텔 코어 i5 대비 41% 향상된다.
• 에너지 소비는 68 mJ/프레임으로 감소하여 ARM Krait 대비 9% 낮고, 인텔 코어 i5 대비 83% 낮다.
• 21비트에서 8비트로의 워드 길이 최적화로 LUT 사용량은 65% 감소하고 레지스터 사용량은 82% 감소했으며, 오차 분석을 통해 정확도에 미치는 영향은 최소한이었다.
• 8비트 워드 길이 자르기에 의해 유도된 최대 오차는 수용 가능한 수준이었으며, 가장 먼 패치 점(±15, ±15)에서만 지수적 증가 경향을 보였고, 허용 가능한 범위 내에 유지되었다.
• 하드웨어 설계는 25,648개의 ALUT, 21,791개의 레지스터, 1.18 MB의 BRAM, 8개의 DSP 블록을 소비하여 실시간 SLAM 가속에 있어 효율적인 자원 활용을 보여주었다.