[논문 리뷰] An FPGA-Accelerated Design for Deep Learning Pedestrian Detection in Self-Driving Vehicles

Abdallah Moussawi, Kamal Al Haddad외 1명|arXiv (Cornell University)|2018. 09. 16.

Advanced Neural Network Applications참고 문헌 16인용 수 4

한 줄 요약

이 논문은 자율주행 차량에서 실시간 보행자 검출을 위한 FPGA 기반 가속 Single Shot MultiBox Detector (SSD)를 제안한다. 기본 SSD 대비 추론 속도를 4배 향상시키면서도 최신 기준의 오차율 성능을 유지한다. 초기 설정 최적화와 16비트 고정점 양자화를 조합하여 Altera Arria 10 FPGA에 배포하기 위한 SSD 최적화를 수행하였으며, GPU에서 24 FPS를 달성하여 안전이 중요한 자율주행 시스템에 필수적인 저지연, 고정확도의 보행자 검출을 가능하게 한다.

ABSTRACT

With the rise of self-driving vehicles comes the risk of accidents and the need for higher safety, and protection for pedestrian detection in the following scenarios: imminent crashes, thus the car should crash into an object and avoid the pedestrian, and in the case of road intersections, where it is important for the car to stop when pedestrians are crossing. Currently, a special topology of deep neural networks called Fused Deep Neural Network (F-DNN) is considered to be the state of the art in pedestrian detection, as it has the lowest miss rate, yet it is very slow. Therefore, acceleration is needed to speed up the performance. This project proposes two contributions to address this problem, by using a deep neural network used for object detection, called Single Shot Multi-Box Detector (SSD). The first contribution is training and tuning the hyperparameters of SSD to improve pedestrian detection. The second contribution is a new FPGA design for accelerating the model on the Altera Arria 10 platform. The final system will be used in self-driving vehicles in real-time. Preliminary results of the improved SSD shows 3% higher miss-rate than F-DNN on Caltech pedestrian detection benchmark, but 4x performance improvement. The acceleration design is expected to achieve an additional performance improvement significantly outweighing the minimal difference in accuracy.

연구 동기 및 목표

• 사고를 방지하고 안전성을 향상시키기 위해 자율주행 차량에서 실시간, 고정확도의 보행자 검출이 필수적인 요구사항을 해결한다.
• 낮은 오차율을 보이지만 실시간 사용에 너무 느린 최신 기술의 융합된 딥 뉴럴 네트워크(F-DNN)의 성능 저하 문제를 해결한다.
• 초기 설정 최적화와 양자화를 통해 Single Shot MultiBox Detector (SSD)를 최적화하여 검출 정확도와 효율성을 향상시킨다.
• Altera Arria 10 플랫폼을 대상으로 FPGA 기반 가속기 아키텍처를 설계하고 구현하여 자율주행 차량에 배포 가능한 저지연, 에너지 효율적인 추론을 가능하게 한다.

제안 방법

• 보행자 검출에 특화된 'person' 레이블만을 고려하여 Caltech, ETH, TUD-Brussels 보행자 데이터셋을 사용해 SSD를 훈련 및 미세조정한다.
• 보행자 크기 및 형태 분포에 더 잘 맞추기 위해 con4_3 레이어에서 3개의 스케일(4%, 7%, 8.5%)과 단일 종횡비(0.41)를 선택하여 SSD의 초기 설정을 최적화한다.
• Ristretto를 사용해 16비트 고정점 양자화를 적용하여 모델 정밀도를 감소시키지만 성능를 유지한다. 각 레이어별로 100장의 테스트 이미지에 대한 동적 범위 분석을 실시한다.
• VOC 및 COCO 데이터셋에서 사전 훈련된 SSD 모델을 기반으로 전이 학습을 수행하여 수렴 속도와 검출 정확도를 향상시킨다.
• 최적화된 SSD 모델의 추론을 가속하기 위해 Altera Arria 10 플랫폼을 대상으로 FPGA 가속기 아키텍처를 설계한다.
• 표준 평가 지표를 사용해 Caltech 벤치마크에서 모델 성능을 평가한다: 전체 및 합리적인 보행자 조건에서의 오차율.

실험 결과

연구 질문

• RQ1 SSD의 초기 설정 최적화가 Caltech 보행자 검출 벤치마크에서 오차율을 크게 감소시키면서도 고속 추론을 유지할 수 있는가?

주요 결과

• 최적화된 SSD 모델은 전체 보행자 검출 벤치마크에서 11.88%의 오차율을 기록하여 기본 SSD 설정 대비 4.16% 향상된 성능을 달성했다.
• NVIDIA GTX Titan X GPU에서 24 FPS를 달성하여, Caltech 데이터셋에서 보고된 바 있는 최신 기술의 SSD 기반 모델 중에서 가장 빠른 속도를 기록했다.
• 16비트 고정점 양자화 이후 오차율은 단지 0.01% 증가(11.89%로)하여, 양자화에 의한 정확도 손실가 매우 미미함을 입증했다.
• FPGA 기반 가속 설계는 GPU 추론 대비 뚜렷한 성능 향상을 제공할 것으로 기대되며, 자율주행 차량 시스템의 실시간 제약 조건을 충족할 수 있다.
• 최종 시스템은 높은 정확도(11.88% 오차율)와 높은 속도(24 FPS)를 동시에 확보하여, F-DNN 등 다른 모델보다 빠른 속도를 기록하면서도 경쟁 가능한 정확도를 유지를 했다.
• 모델 최적화와 FPGA 가속의 조합은 안전이 중요한 자율주행 응용 분야에서 실시간 보행자 검출을 위한 실용적이고 저지연의 솔루션을 가능하게 한다.