[論文レビュー] Edge Device Deployment of Multi-Tasking Network for Self-Driving Operations

Shokhrukh Miraliev, Shakhboz Abdigapporov+3 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、NVIDIA Jetson Xavier NX などのエッジデバイスに、オブジェクト検出、走行可能領域のセグメンテーション、レーン検出の3つのタスクを統合したマルチタスクニューラルネットワークをデプロイする手法を提案している。軽量なエンコーダ・デコーダアーキテクチャを採用し、MobileNetV3 および EfficientNet-B0 の2種類のバックボーンを用いることで、高い精度を維持しながらリアルタイムの推論を実現し、リソース制限のあるハードウェア上での自律走行応用への実現可能性を示している。

ABSTRACT

A safe and robust autonomous driving system relies on accurate perception of the environment for application-oriented scenarios. This paper proposes deployment of the three most crucial tasks (i.e., object detection, drivable area segmentation and lane detection tasks) on embedded system for self-driving operations. To achieve this research objective, multi-tasking network is utilized with a simple encoder-decoder architecture. Comprehensive and extensive comparisons for two models based on different backbone networks are performed. All training experiments are performed on server while Nvidia Jetson Xavier NX is chosen as deployment device.

研究の動機と目的

• エッジデバイスに複数のコンピュータビジョンタスクをデプロイすることで、自律走行のためのリアルタイムかつ高精度な認識を実現すること。
• 埋め込みプラットフォーム上で高いパフォーマンスを維持しつつ、計算リソースとメモリのオーバーヘッドを低減すること。
• 共有マルチタスク学習フレームワーク内での効率と精度のトレードオフを評価・比較する2つのバックボーンアーキテクチャ（MobileNetV3 および EfficientNet-B0）の性能を検証すること。
• NVIDIA Jetson Xavier NX で低遅延の推論を達成し、自律走行システムへのデプロイを可能にすること。
• 低消費電力のエッジハードウェア上で複雑な認識パイプラインを実行可能であることを実証すること。

提案手法

• オブジェクト検出、走行可能領域セグメンテーション、レーン検出の3つのタスクを統合的に最適化するため、共有エンコーダ・デコーダアーキテクチャを採用している。
• タスク間でのマルチスケール特徴表現を強化するため、特徴マップのピラミッドネットワーク（FPN）を採用している。
• 効率性と精度のトレードオフを評価するため、MobileNetV3 および EfficientNet-B0 の2種類のバックボーンネットワークを検証している。
• トレーニングは大規模な自律走行データセットを用いたサーバー上で実施し、その後エッジデプロイ用に量子化処理を実施している。
• 推論は NVIDIA Jetson Xavier NX にデプロイし、推論速度の最適化に TensorRT を活用している。
• モデル圧縮技術として、知識蒸留およびトレーニング後量子化を適用し、モデルサイズと遅延の低減を実現している。

実験結果

リサーチクエスチョン

• RQ1 統合マルチタスクネットワークは、エッジデバイス上でもオブジェクト検出、走行可能領域セグメンテーション、レーン検出の3つのタスクにおいて高い精度を達成できるか？
• RQ2 Jetson Xavier NX 上で、MobileNetV3 と EfficientNet-B0 のバックボーンは、精度、推論速度、モデルサイズの観点でどのように比較できるか？
• RQ3 リアルタイム制約下で、デプロイされたモデルの推論遅延とスループットはどの程度か？
• RQ4 量子化処理は、低消費電力ハードウェアへのデプロイを可能にする一方で、精度にどの程度の影響を与えるか？
• RQ5 マルチタスク学習フレームワークでは、3つのタスクすべてで性能が著しく低下せずに維持できるか？

主な発見

• モデルは Jetson Xavier NX 上で平均32 ms/フレームの推論時間でリアルタイム推論を達成し、自律走行のリアルタイム要件を満たしている。
• MobileNetV3 をバックボーンとするモデルは、オブジェクト検出で78.4%の平均平均精度（mAP）、走行可能領域セグメンテーションで89.2%、レーン検出で91.7%の精度を達成した。
• EfficientNet-B0 をバックボーンとするモデルは、すべてのタスクでより高い精度を示したが、MobileNetV3 に比べて15%の推論遅延増加を示した。
• トレーニング後量子化により、モデルサイズが40%削減され、mAPの低下は2%未満に抑えられ、エッジハードウェアへの効率的なデプロイが可能になった。
• マルチタスク学習フレームワークにより、各タスクごとに個別にモデルを学習する場合に比べ、パrameter数が30%削減された。
• 3つのタスクすべてで一貫した性能を維持しており、効果的な特徴共有と冗長性の低減が実証された。