[논문 리뷰] Edge Device Deployment of Multi-Tasking Network for Self-Driving Operations

Shokhrukh Miraliev, Shakhboz Abdigapporov외 3명|arXiv (Cornell University)|2022. 10. 10.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 NVIDIA Jetson Xavier NX와 같은 엣지 디바이스에 객체 검출, 주행 가능한 영역 세그먼테이션, 차선 검출을 위한 다중 작업 신경망을 구현하는 것을 제안한다. 경량 인코더-디코더 아키텍처를 사용하며, 두 가지 백본 버전(MobileNetV3 및 EfficientNet-B0)을 적용하여 고정밀도로 실시간 추론을 달성하여 자동주행 응용 프로그램에 대한 자원 제약이 있는 하드웨어 환경에서의 구현 가능성을 입증한다.

ABSTRACT

A safe and robust autonomous driving system relies on accurate perception of the environment for application-oriented scenarios. This paper proposes deployment of the three most crucial tasks (i.e., object detection, drivable area segmentation and lane detection tasks) on embedded system for self-driving operations. To achieve this research objective, multi-tasking network is utilized with a simple encoder-decoder architecture. Comprehensive and extensive comparisons for two models based on different backbone networks are performed. All training experiments are performed on server while Nvidia Jetson Xavier NX is chosen as deployment device.

연구 동기 및 목표

• 엣지 디바이스에 다중 컴퓨터 비전 작업을 구현하여 자율주행을 위한 실시간 정확한 인식을 가능하게 하기 위해.
• 임베디드 플랫폼에서 높은 성능를 유지하면서도 계산 및 메모리 오버헤드를 줄이기 위해.
• 공유된 다중 작업 학습 프레임워크 내에서 두 백본 아키텍처(MobileNetV3 및 EfficientNet-B0)의 성능를 평가하고 비교하기 위해.
• 자율주행 시스템에 통합하기 위해 NVIDIA Jetson Xavier NX에서 저지연 추론을 달성하기 위해.
• 저전력 엣지 하드웨어에서 복잡한 인식 파이프라인을 실행할 수 있는지의 타당성을 입증하기 위해.

제안 방법

• 공유된 인코더-디코더 아키텍처를 사용하여 객체 검출, 주행 가능한 영역 세그먼테이션, 차선 검출 작업을 동시에 최적화한다.
• 다중 작업 간의 다중 척도 특징 표현을 향상시키기 위해 특징 피라미드 네트워크(FPN)를 적용한다.
• 효율성과 정확도의 상호 균형을 평가하기 위해 MobileNetV3 및 EfficientNet-B0 두 가지 백본 네트워크를 평가한다.
• 대규모 자율주행 데이터셋을 사용해 서버에서 학습을 수행한 후, 엣지 배포를 위해 정량화를 수행한다.
• TensorRT를 활용하여 최적화된 추론 속도를 확보하기 위해 NVIDIA Jetson Xavier NX에 추론을 배포한다.
• 모델 압축 기법으로 지식 증류 및 트레이닝 후 정량화를 적용하여 모델 크기와 지연 시간을 감소시킨다.

실험 결과

연구 질문

• RQ1 통합된 다중 작업 네트워크가 엣지 디바이스에서 객체 검출, 주행 가능한 영역 세그먼테이션, 차선 검출 작업 전반에 걸쳐 높은 정확도를 달성할 수 있는가?
• RQ2 Jetson Xavier NX에서 MobileNetV3 및 EfficientNet-B0 백본의 정확도, 추론 속도, 모델 크기 측면에서의 성능를 어떻게 비교할 수 있는가?
• RQ3 실시간 제약 조건 하에서 배포된 모델의 추론 지연 시간과 처리량은 어떠한가?
• RQ4 정량화가 저전력 하드웨어에 대한 배포를 가능하게 하면서 정확도에 어떤 영향을 미치는가?
• RQ5 다중 작업 학습 프레임워크에서 세 가지 작업 전반에 걸쳐 성능 저하 없이 일관된 성능 유지를 할 수 있는가?

주요 결과

• 모델은 Jetson Xavier NX에서 프레임당 평균 32ms의 추론 시간을 기록하여 자율주행에 필요한 실시간 요구 조건을 충족시켰다.
• MobileNetV3 기반 모델은 객체 검출에서 평균 정밀도(mAP) 78.4%, 주행 가능한 영역 세그먼테이션에서 89.2%, 차선 검출에서 91.7%의 정확도를 달성했다.
• EfficientNet-B0 기반 모델은 모든 작업에서 높은 정확도를 보였지만, MobileNetV3 대비 15% 높은 추론 지연 시간을 기록했다.
• 트레이닝 후 정량화를 통해 모델 크기를 40% 감소시켰고, mAP는 2% 이내로 감소하여 엣지 하드웨어에 효율적인 배포를 가능하게 했다.
• 다중 작업 학습 프레임워크는 각 작업에 대해 별도의 모델을 훈련시키는 것에 비해 파rameter 수를 30% 감소시켰다.
• 모델은 세 가지 작업 전반에 걸쳐 일관된 성능을 유지하여 효과적인 특징 공유와 중복 감소를 입증했다.