[論文レビュー] TwinLiteNet: An Efficient and Lightweight Model for Driveable Area and Lane Segmentation in Self-Driving Cars

Quang Huy, Dinh Phuc Nguyen+2 more|arXiv (Cornell University)|Jul 20, 2023

Advanced Neural Network Applications参考文献 27被引用数 6

ひとこと要約

TwinLiteNet は、二重エンコーダー構造と拡張畳み込み、二重アテンションモジュールを組み合わせた、軽量で効率的な深層学習モデルであり、自律走行車両におけるリアルタイムの走行可能領域およびレーンセグメンテーションを実現する。ドライブアブルエリアで 91.3% の mIoU、レーン検出で 31.08% の IoU を達成し、パrameter数はたったの 0.4M であり、GPU では 415 FPS、Jetson Xavier NX では 60 FPS で動作する。これによりエッジデバイスへのデプロイが可能である。

ABSTRACT

Semantic segmentation is a common task in autonomous driving to understand the surrounding environment. Driveable Area Segmentation and Lane Detection are particularly important for safe and efficient navigation on the road. However, original semantic segmentation models are computationally expensive and require high-end hardware, which is not feasible for embedded systems in autonomous vehicles. This paper proposes a lightweight model for the driveable area and lane line segmentation. TwinLiteNet is designed cheaply but achieves accurate and efficient segmentation results. We evaluate TwinLiteNet on the BDD100K dataset and compare it with modern models. Experimental results show that our TwinLiteNet performs similarly to existing approaches, requiring significantly fewer computational resources. Specifically, TwinLiteNet achieves a mIoU score of 91.3% for the Drivable Area task and 31.08% IoU for the Lane Detection task with only 0.4 million parameters and achieves 415 FPS on GPU RTX A5000. Furthermore, TwinLiteNet can run in real-time on embedded devices with limited computing power, especially since it achieves 60FPS on Jetson Xavier NX, making it an ideal solution for self-driving vehicles. Code is available: url{https://github.com/chequanghuy/TwinLiteNet}.

研究の動機と目的

• 自律走行車両の組み込みシステムに適した、計算効率の高いドライブアブルエリアおよびレーンセグメンテーション用モデルの開発。
• モデルの複雑さと推論コストを低下させつつ、セグメンテーション精度を損なわないこと。
• 低消費電力のエッジデバイス（例：Jetson Xavier NX や TX2）上でリアルタイム推論を可能にすること。
• 特徴表現の向上と推論速度の向上の両立のため、二重アテンションおよび再パラメータ化技術を統合すること。
• 最先端モデルと比較して顕著にパrameter数と計算負荷を削減しつつ、競争力のあるパフォーマンスを達成すること。

提案手法

• TwinLiteNet は YOLOP をインspired した二重ブランチデコーダー構造を採用し、ドライブアブルエリアとレーン検出のタスクごとに別々のヘッドを持つ。
• 感受野を拡大するがパrameter数を増やさないために、ESPNet をベースとしたバックボーンに拡張畳み込みを適用する。
• 低レベルと高レベルの特徴の統合を強化するために、二重アテンションモジュールを統合する。
• ドライブアブルエリアとレーンセグメンテーションのタスクを分離するために、複数のヘッド予測ヘッドを用いることで、タスク特化を向上させる。
• 最終層に再パラメータ化技術を適用し、精度を損なわずに推論速度を向上させる。
• データ拡張を含む BDD100K データセットで学習を行い、レーンアノテーションに 8 ピクセルの拡張を適用して一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 軽量セグメンテーションモデルは、エッジデバイス上でリアルタイム推論を維持しつつ、ドライブアブルエリアおよびレーン検出タスクで競争力のあるパフォーマンスを達成できるか？
• RQ2 単一ヘッドまたは共有ヘッド設計と比較して、二重ブランチデコーダー構造は、精度と効率の面でどのように異なるか？
• RQ3 二重アテンションと再パラメータ化は、軽量セグメンテーションモデルにおける特徴学習と推論速度をどの程度向上させるか？
• RQ4 組み込みプラットフォーム上でのモデルサイズ、推論速度、セグメンテーション精度のトレードオフはどのようなものか？
• RQ5 モデルは、昼間と夜間のさまざまな照明条件や道路状況にも一般化できるか？

主な発見

• TwinLiteNet はドライブアブルエリアセグメンテーションタスクで 91.3% の mIoU を達成し、大多数の軽量モデルを上回り、最先端性能に近づいた。
• レーン検出では 31.08% の IoU を達成し、軽量モデルの中で第2位であり、SOTA の HybridNets と 0.52% の差にとどまる。
• パrameter数がたったの 0.4M であるにもかかわらず、RTX A5000 GPU で 415 FPS の推論速度を達成し、高い計算効率を示した。
• Jetson Xavier NX では 60 FPS で動作し、組み込みエッジデバイス上でのリアルタイム動作を確認した。
• アブレーションスタディの結果、二重アテンションモジュール、複数ヘッド、再パラメータ化の追加が mIoU と IoU を向上させつつ、高い推論速度を維持していることが確認された。
• Jetson デバイス上での電力消費と熱的性能は安定しており、Xavier NX では平均で 12.5W の消費電力、温度は 60°C 未満を維持しており、エネルギー効率と熱的安定性を示している。