[논문 리뷰] Understanding Time Variations of DNN Inference in Autonomous Driving

Liangkai Liu, Yanzhi Wang외 1명|arXiv (Cornell University)|2022. 09. 12.

Autonomous Vehicle Technology and Safety인용 수 10

한 줄 요약

이 논문은 자율주행 시스템 내 DNN 추론의 시간 변동성을 세밀하게 분석하여 데이터, I/O, 모델, 런타임, 하드웨어, 종단간 시스템 요인 등 여섯 가지 요인에서 근본 원인을 규명한다. 시스템 수준의 상호작용, 특히 ROS 기반 미들웨어에서 기인한 것으로 밝혀졌으며, DNN 추론 지연이 최대 4,000ms에 달하고 99번째 백분율 지연이 1,000ms를 초과할 수 있음을 확인했으며, 실시간 스케줄링을 위한 변동성 감소를 위한 통찰을 제안한다.

ABSTRACT

Deep neural networks (DNNs) are widely used in autonomous driving due to their high accuracy for perception, decision, and control. In safety-critical systems like autonomous driving, executing tasks like sensing and perception in real-time is vital to the vehicle's safety, which requires the application's execution time to be predictable. However, non-negligible time variations are observed in DNN inference. Current DNN inference studies either ignore the time variation issue or rely on the scheduler to handle it. None of the current work explains the root causes of DNN inference time variations. Understanding the time variations of the DNN inference becomes a fundamental challenge in real-time scheduling for autonomous driving. In this work, we analyze the time variation in DNN inference in fine granularity from six perspectives: data, I/O, model, runtime, hardware, and end-to-end perception system. Six insights are derived in understanding the time variations for DNN inference.

연구 동기 및 목표

• 안전이 중요한 자율주행 시스템에서 DNN 추론의 부정확한 시간 변동의 근본 원인을 규명하고 분석하는 것.
• DNN 추론의 시간 변동이 실시간 스케줄링과 시스템 예측 가능성에 미치는 영향을 이해하는 것.
• 종단간 인식 파이프라인에서 다수의 인지 모듈과 통신 미들웨어가 누적된 지연 변동에 미치는 영향을 조사하는 것.
• 스케줄링 효율성과 안전성을 향상시키기 위해 DNN 추론 시간 변동성을 줄이기 위한 실천 가능한 통찰을 제공하는 것.

제안 방법

• 데이터, I/O, 모델, 런타임, 하드웨어, 종단간 인지 시스템의 여섯 차원에서 DNN 추론 시간 변동성에 대한 세밀한 분석을 수행하였다.
• 실제 자율주행 워크로드 하에서 여러 DNN 모델(YOLOv3, Deeplabv3, LaneNet 등)의 추론 지연을 측정하였다.
• ROS를 사용하여 종단간 인지 시스템을 구현하여 시스템 수준의 지연과 동기화 지연을 평가하였다.
• 인식 모듈과 융합 노드 간의 메시지 지연을 기록하고 분석하여 통신으로 인한 변동성을 정량화하였다.
• ROS 동기화기의 버퍼 큐 크기가 지연 변동성에 미치는 영향을 평가하였다.
• 통계적 분석(예: 99번째 백분율, 변동계수)을 사용하여 다양한 시스템 구성 요소 간의 시간 변동성을 정량화하였다.

실험 결과

연구 질문

• RQ1 자율주행 시스템 내 DNN 추론의 시간 변동의 주요 원인은 무엇인가?
• RQ2 동시 수행 작업과 ROS와 같은 통신 미들웨어는 종단간 지연 변동에 어떻게 기여하는가?
• RQ3 다중 모듈 종단간 시스템에서 개별 인지 모듈의 시간 변동이 누적되는 정도는 어느 정도인가?
• RQ4 메시지 동기화기의 버퍼 크기 선택이 인지 파이프라인의 지연 변동성에 미치는 영향은 무엇인가?
• RQ5 시스템 수준의 요인(예: I/O, 하드웨어, 런타임)이 DNN 추론 시간 예측 가능성에 미치는 영향은 무엇인가?

주요 결과

• 대부분의 모델에서 DNN 추론 시간 변동성이 100ms를 초과하며, 일부 사례에서는 최대 4,000ms에 달해 실시간 안전성에 심각한 영향을 미친다.
• YOLOv3와 Deeplabv3의 종단간 시스템에서 99번째 백분율 지연은 개별 모듈의 지연보다 높은 것으로 나타났으며, 이는 동시 작업으로 인한 누적 변동성 때문이었다.
• ROS 기반 통신 미들웨어는 막대한 꼬리 지연을 유발하며, 최악의 상황에서 융합 메시지 지연이 10,000ms(10초)를 초과했다.
• 100버퍼 큐 크기 조건에서 융합 메시지의 평균 지연과 최소 지연은 각각 773ms와 242ms였으며, 이는 심각한 예측 불가능성을 시사했다.
• 동기화기의 버퍼 크기를 100에서 1,000으로 증가시킴으로써 지연 변동성이 감소하여 통신으로 인한 잼프를 완화하는 전략임을 입증했다.
• 변동계수(Cv) 분석 결과, DNN 기반 모듈은 ORB-SLAM2와 같은 비-DNN 시스템에 비해 훨씬 높은 지연 변동성을 보였다.