[論文レビュー] Understanding Time Variations of DNN Inference in Autonomous Driving

Liangkai Liu, Yanzhi Wang+1 more|arXiv (Cornell University)|Sep 12, 2022

Autonomous Vehicle Technology and Safety被引用数 10

ひとこと要約

本論文は、自律走行システムにおけるDNN推論の時間的変動を細分化して分析し、データ、I/O、モデル、ランタイム、ハードウェア、エンドツーエンドシステム要因の6つの根本的要因を同定する。システムレベルの相互作用、特にROSベースのミドルウェアにおいて、DNN推論遅延が4,000msを超えることが判明し、99パーセンタイルの遅延が1,000msを超える場合もあり、リアルタイムスケジューリングのための変動低減に向けた知見を提示する。

ABSTRACT

Deep neural networks (DNNs) are widely used in autonomous driving due to their high accuracy for perception, decision, and control. In safety-critical systems like autonomous driving, executing tasks like sensing and perception in real-time is vital to the vehicle's safety, which requires the application's execution time to be predictable. However, non-negligible time variations are observed in DNN inference. Current DNN inference studies either ignore the time variation issue or rely on the scheduler to handle it. None of the current work explains the root causes of DNN inference time variations. Understanding the time variations of the DNN inference becomes a fundamental challenge in real-time scheduling for autonomous driving. In this work, we analyze the time variation in DNN inference in fine granularity from six perspectives: data, I/O, model, runtime, hardware, and end-to-end perception system. Six insights are derived in understanding the time variations for DNN inference.

研究の動機と目的

• 安全上の重要な自律走行システムにおけるDNN推論の有意な時間的変動の根本的要因を特定・分析すること。
• DNN推論の時間的変動がリアルタイムスケジューリングおよびシステムの予測可能性に与える影響を理解すること。
• エンドツーエンドの認識パイプラインにおける複数の認識モジュールおよび通信ミドルウェアにおける遅延変動の累積的影響を調査すること。
• スケジューリング効率および安全性の向上に向け、DNN推論時間変動を低減するための実行可能な知見を提供すること。

提案手法

• データ、I/O、モデル、ランタイム、ハードウェア、エンドツーエンド認識システムの6つの次元にわたるDNN推論時間変動の細分化分析を実施。
• 実際の自律走行ワークロード下で複数のDNNモデル（YOLOv3、Deeplabv3、LaneNetなど）の推論遅延を測定。
• ROSを用いてエンドツーエンド認識システムを実装し、システムレベルの遅延および同期遅延を評価。
• 認識モジュールと統合ノード間のメッセージ遅延を記録・分析し、通信に起因する変動を定量化。
• ROS同期器におけるバッファキューのサイズが遅延変動およびテール遅延に与える影響を評価。
• 統計的分析（例：99パーセンタイル、変動係数）を用いて、異なるシステム部品における時間変動を定量化。

実験結果

リサーチクエスチョン

• RQ1 自律走行システムにおけるDNN推論の時間的変動の主な要因は何か？
• RQ2 並列実行タスクやROSのような通信ミドルウェアは、エンドツーエンドの遅延変動にどのように寄与するか？
• RQ3 複数モジュールのエンドツーエンドシステムにおいて、個々の認識モジュールの時間的変動はどの程度累積するか？
• RQ4 メッセージ同期器におけるバッファサイズの選択が、認識パイプラインにおける遅延変動に与える影響は何か？
• RQ5 I/O、ハードウェア、ランタイムなどのシステムレベル要因が、DNN推論時間の予測可能性に与える影響は何か？

主な発見

• ほとんどのモデルでDNN推論時間の変動が100msを超えており、一部のケースでは最大4,000msに達し、リアルタイムの安全性に顕著な影響を与える。
• YOLOv3およびDeeplabv3のエンドツーエンドシステムにおける99パーセンタイル遅延は、個々のモジュールの遅延を上回っており、並列タスクに起因する変動の累積によるものである。
• ROSベースの通信ミドルウェアは、深刻なテール遅延を引き起こし、最悪ケースの統合メッセージ遅延が10,000ms（10秒）を超える場合がある。
• 100バッファキューのサイズ下で、統合メッセージの平均遅延は773ms、最小遅延は242msであった。これは著しい予測不能性を示している。
• 同期器のバッファサイズを100から1,000に増加させることで、遅延変動が低減した。これは通信に起因するジターリダクションの有効な戦略であることを示している。
• 変動係数（Cv）分析から、ORB-SLAM2のような非DNNシステムと比較して、DNNベースのモジュールは顕著に高い遅延変動を示している。