[논문 리뷰] An Energy-Efficient Quad-Camera Visual System for Autonomous Machines on FPGA Platform

Zishen Wan, Yuyang Zhang외 4명|arXiv (Cornell University)|2021. 04. 01.

Robotics and Sensor-Based Localization참고 문헌 13인용 수 4

한 줄 요약

이 논문은 하드웨어 동기화, 프레임 멀티플렉싱, 병렬화된 ORB 특징 추출 및 매칭을 활용하여 실시간 자율 기계 위치 추정을 위한 에너지 효율적인 FPGA 기반 4카메라 시각 시스템을 제안한다. 이는 Nvidia TX1 대비 5.6배의 성능 향상과 3.0배의 전력 절감을 달성하였으며, Intel i7 대비 3.4배의 성능 향상과 34.6배의 뛰어난 에너지 효율성을 확보하여 에지 응용 분야에서 저지연, 고신뢰성의 360° 인식을 가능하게 한다.

ABSTRACT

In our past few years' of commercial deployment experiences, we identify localization as a critical task in autonomous machine applications, and a great acceleration target. In this paper, based on the observation that the visual frontend is a major performance and energy consumption bottleneck, we present our design and implementation of an energy-efficient hardware architecture for ORB (Oriented-Fast and Rotated- BRIEF) based localization system on FPGAs. To support our multi-sensor autonomous machine localization system, we present hardware synchronization, frame-multiplexing, and parallelization techniques, which are integrated in our design. Compared to Nvidia TX1 and Intel i7, our FPGA-based implementation achieves 5.6x and 3.4x speedup, as well as 3.0x and 34.6x power reduction, respectively.

연구 동기 및 목표

• 자율 기계 위치 추정 시스템에서 주요 성능 및 에너지 병목 현상이 되는 시각 프론트엔드를 해결하기 위해.
• 자원 제약이 있는 FPGA 플랫폼에서 다중카메라 360° 인식을 위한 저전력, 실시간 시각 시스템을 설계하기 위해.
• 완전한 구면 커버리지와 겹치는 프레임 영역을 활용하여 신뢰성 있고 고장에 강한 위치 추정을 가능하게 하기 위해.
• ORB 기반 특징 추출 및 매칭을 위한 하드웨어를 공동 최적화하여 지연과 전력 소비를 최소화하기 위해.
• 신뢰할 수 있는 시각-자이로스코픽 온도미터를 위한 다중 카메라 및 IMU 통합을 지원하기 위해 새로운 하드웨어 동기화 기법을 도입하기 위해.

제안 방법

• 마이크로초 수준 정밀도로 다중카메라 및 IMU 데이터 스트림을 동기화하여 센서 간 시간 일관성을 확보한다.
• 단일 ORB 특징 추출기를 좌우 스테레오 프레임 간에 시간 공유함으로써 하드웨어 자원 사용량을 33% 감소시킨다.
• 네 카메라 채널과 특징 처리 단계 간의 병렬 처리 및 파이프라인 처리를 적용하여 처리량을 극대화하고 지연을 최소화한다.
• 정확도를 유지하면서 자원 활용도를 낮추기 위해 특징 매칭기의 워드 길이 최적화를 적용한다.
• 공통된 논리 구조를 스테레오 쌍 간에 공유함으로써 면적 오버헤드를 줄이기 위해 통합된 ORB 기반 시각 프론트엔드를 공동 설계한다.
• Xilinx Zynq Ultrascale+ FPGA에 시스템을 구현하였으며, 동적 자원 할당 및 데이터 흐름 관리를 위한 고유의 제어 논리를 구현하였다.

실험 결과

연구 질문

• RQ1 FPGA 기반 시각 시스템은 다중카메라 자율 위치 추정에 대해 실시간 성능과 저전력 소비를 어떻게 달성할 수 있는가?
• RQ2 ORB 기반 특징 추출 및 매칭에서 높은 정확도를 유지하면서 자원 사용량을 효과적으로 줄일 수 있는 하드웨어 기법은 무엇인가?
• RQ3 네 카메라와 IMU 간의 하드웨어 동기화는 어떻게 실현하여 신뢰할 수 있는 시각-자이로스코픽 온도미터를 확보할 수 있는가?
• RQ4 프레임 멀티플렉싱과 병렬 처리는 다중 센서 시각 시스템에서 처리량과 에너지 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 실세계 위치 추정 워크로드에서 제안된 시스템은 GPU 및 CPU 기반 구현 대비 성능과 에너지 효율성에서 어떤가?

주요 결과

• FPGA 기반 시스템은 640×480 해상도에서 69 fps를 달성하여 Nvidia TX1 대비 5.63배의 성능 향상과 Intel i7 CPU 대비 3.38배의 성능 향상을 기록하였다.
• 640×480 해상도에서 전력 소비는 1.63 W로 감소하여 Nvidia TX1 대비 3.03배, Intel i7 대비 34.63배의 뛰어난 에너지 효율성을 확보하였다.
• FPGA에서의 특징 추출 및 매칭 정확도는 소프트웨어 구현과 0.3% 이내의 오차로 일치하였으며, 모든 지표에서 좌표 정확도는 96.8%에서 99.7%에 달했다.
• 자원 활용도는 효율적으로 관리되었으며, 640×480 처리에 대해 LUT 51%, 플립플롭 12%, BRAM 30%, DSP 1%만 사용되었다.
• 연속된 프레임 간 항상 겹치는 영역가 존재하므로, 고장 위험이 없는 안정적인 360° 인식을 지원한다.
• 기존 FPGA 가속기 대비 제안된 설계는 [7]에 비해 1.23배 높은 성능 향상과 16%의 전력 감소를 달성하였으며, [4]에 비해 64%의 전력 절감을 이루었으며, 스테레오 깊이 및 다중카메라 입력을 모두 지원한다.