[논문 리뷰] DeepPicar: A Low-cost Deep Neural Network-based Autonomous Car

Michael Garrett Bechtel, Elise Mcellhiney외 2명|arXiv (Cornell University)|2017. 12. 19.

Advanced Neural Network Applications인용 수 15

한 줄 요약

DeepPicar는 카메라 입력에서의 엔드 투 엔드 조향 제어를 위한 9층 컨볼루션 신경망(CNN)을 사용하는 저비용, 라즈베리 파이 3 기반 자율주행 차량 플랫폼이며, NVIDIA의 DAVE-2를 재현한다. 이 플랫폼은 임베디드 플랫폼 전반에서 20–100 Hz의 실시간 추론을 구현하며, 공유 리소스 경쟁으로 인해 최대 11.6배의 속도 저하가 발생할 수 있음을 보여주며, 메모리 대역폭 타이밍 조절 기법은 성능 격리에 효과가 있음을 입증한다. 반면 캐시 분할 기법은 효과가 없다.

ABSTRACT

We present DeepPicar, a low-cost deep neural network based autonomous car platform. DeepPicar is a small scale replication of a real self-driving car called DAVE-2 by NVIDIA. DAVE-2 uses a deep convolutional neural network (CNN), which takes images from a front-facing camera as input and produces car steering angles as output. DeepPicar uses the same network architecture---9 layers, 27 million connections and 250K parameters---and can drive itself in real-time using a web camera and a Raspberry Pi 3 quad-core platform. Using DeepPicar, we analyze the Pi 3's computing capabilities to support end-to-end deep learning based real-time control of autonomous vehicles. We also systematically compare other contemporary embedded computing platforms using the DeepPicar's CNN-based real-time control workload. We find that all tested platforms, including the Pi 3, are capable of supporting the CNN-based real-time control, from 20 Hz up to 100 Hz, depending on hardware platform. However, we find that shared resource contention remains an important issue that must be considered in applying CNN models on shared memory based embedded computing platforms; we observe up to 11.6X execution time increase in the CNN based control loop due to shared resource contention. To protect the CNN workload, we also evaluate state-of-the-art cache partitioning and memory bandwidth throttling techniques on the Pi 3. We find that cache partitioning is ineffective, while memory bandwidth throttling is an effective solution.

연구 동기 및 목표

• 실시간 딥러닝 기반 자율주행 차량 제어를 위한 저비용이고 접근 가능한 테스트베드를 개발하기 위해.
• 라즈베리 파이 3와 같은 임베디드 플랫폼에서 CNN 기반 제어 시스템의 실시간 추론 성능을 평가하기 위해.
• 통합 워크로드 환경에서 캐시 및 DRAM 공유 리소스 경쟁이 CNN 추론 지연에 미치는 영향을 조사하기 위해.
• 실시간 CNN 워크로드를 보호하기 위해 공유 리소스 격리 기법(캐시 분할 및 메모리 대역폭 타이밍 조절)의 효과성을 평가하기 위해.
• 미래의 저전력 자율주행 시스템을 위한 자료 압축 또는 양자화된 CNN의 자원 제약이 있는 플랫폼에서의 효율적 구현 가능성 탐색을 위해.

제안 방법

• 단일 카메라 입력에서의 엔드 투 엔드 조향 예측을 위한 NVIDIA의 DAVE-2 CNN 아키텍처(9층, 27M 연결, 250K 파라미터)를 재현한다.
• 웹 카메라와 RC 차량 프레임을 사용하여 라즈베리 파이 3를 기반으로 저비용 실시간 자율 제어 시스템을 구축한다.
• 라즈베리 파이 3 및 더 강력한 대안 플랫폼을 포함한 여러 임베디드 플랫폼에서 20–100 Hz의 실시간 추론을 수행한다.
• 동일한 플랫폼에서 다수의 동시 CNN 모델 및 작업을 실행하여 공유 리소스 경쟁으로 인한 성능 저하를 측정한다.
• 최신 격리 기법인 캐시 분할 및 메모리 대역폭 타이밍 조절을 적용하여 실시간 성능 유지 효과를 평가한다.
• 통제된 벤치마킹 및 워크로드 통합 실험을 통해 하드웨어 수준의 리소스 경쟁 및 격리 메커니즘의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 라즈베리 파이 3와 같은 저비용 임베디드 플랫폼이 자율주행 차량을 위한 실시간 엔드 투 엔드 딥러닝 기반 제어를 지원할 수 있는가?
• RQ2 통합된 임베디드 시스템에서 캐시 및 DRAM 공유 리소스 경쟁이 CNN 추론 워크로드 성능에 미치는 영향은 어떠한가?
• RQ3 기존의 공유 리소스 격리 기법(캐시 분할 및 메모리 대역폭 타이밍 조절)이 실시간 CNN 추론 성능을 얼마나 효과적으로 보호하는가?
• RQ4 다양한 임베디드 컴퓨팅 플랫폼에서 CNN 모델의 실시간 성능(추론 주파수)은 어느 정도 달성 가능한가?
• RQ5 자원 제약이 있는 플랫폼이 향후 저전력 자율주행 시스템을 위한 압축 또는 양자화된 CNN의 효율적 배포를 지원할 수 있는가?

주요 결과

• 라즈베리 파이 3 및 기타 임베디드 플랫폼은 하드웨어에 따라 20 Hz에서 100 Hz의 프레임 레이트로 실시간 CNN 추론을 지원할 수 있으며, 자율 제어에 적합하다.
• 전용 CPU 코어를 사용하더라도 공유 리소스 경쟁으로 인해 CNN 추론 지연이 최대 11.6배 증가할 수 있으며, 이는 실시간 성능에 심각한 영향을 미친다.
• 공유 캐시 계층으로 인한 간섭으로 인해 캐시 분할 기법은 CNN 워크로드 격리에 효과가 없다.
• 메모리 대역폭 타이밍 조절은 자원 경쟁 상황에서 CNN 추론 성능을 보호하는 데 효과적인 기법으로, 지연 급증을 크게 줄인다.
• DeepPicar 플랫폼은 단지 100달러의 구성 요소로 NVIDIA의 DAVE-2 기능을 성공적으로 재현하여 실시간 딥러닝 제어에 대한 저비용 연구를 가능하게 한다.
• 이 연구는 하드웨어 인식 최적화 및 격리 메커니즘이 임베디드 자율주행 시스템에서 신경망(DNN)의 신뢰성 있는 실시간 배포를 위해 필수적임을 확인한다.