[論文レビュー] HybridNets: End-to-End Perception Network

Dat Vu, Bao Ngo+1 more|arXiv (Cornell University)|Mar 17, 2022

Advanced Neural Network Applications被引用数 68

ひとこと要約

HybridNetsは、交通物体検出、走行領域セマンティックセグメンテーション、車線検出のエンドツーエンド多タスク知覚ネットワークを提示し、最適化されたヘッドネットワーク、適応アンカー、バランスの取れた学習戦略を備え、強い精度とリアルタイム性能を実現します。

ABSTRACT

End-to-end Network has become increasingly important in multi-tasking. One prominent example of this is the growing significance of a driving perception system in autonomous driving. This paper systematically studies an end-to-end perception network for multi-tasking and proposes several key optimizations to improve accuracy. First, the paper proposes efficient segmentation head and box/class prediction networks based on weighted bidirectional feature network. Second, the paper proposes automatically customized anchor for each level in the weighted bidirectional feature network. Third, the paper proposes an efficient training loss function and training strategy to balance and optimize network. Based on these optimizations, we have developed an end-to-end perception network to perform multi-tasking, including traffic object detection, drivable area segmentation and lane detection simultaneously, called HybridNets, which achieves better accuracy than prior art. In particular, HybridNets achieves 77.3 mean Average Precision on Berkeley DeepDrive Dataset, outperforms lane detection with 31.6 mean Intersection Over Union with 12.83 million parameters and 15.6 billion floating-point operations. In addition, it can perform visual perception tasks in real-time and thus is a practical and accurate solution to the multi-tasking problem. Code is available at https://github.com/datvuthanh/HybridNets.

研究の動機と目的

• 運転シーンにおけるエンドツーエンドの多タスク知覚ネットワークを研究する。
• 重み付き双方向特徴ネットワークに基づく効率的なセグメンテーションヘッドとボックス/クラス予測ネットワークを提案する。
• 重み付き双方向特徴ネットワークの各レベルで自動的にカスタマイズされたアンカーを導入する。
• マルチタスク最適化のバランスを取る効率的な学習損失と戦略を開発する。
• 交通物体検出、走行領域セグメンテーション、および車線検出におけるマルチタスク性能を示す。

提案手法

• 重み付き双方向特徴ネットワーク上に構築された効率的なセグメンテーションヘッドとボックス/クラス予測ネットワーク。
• 重み付き双方向特徴ネットワークの各レベルでアンカーを自動的にカスタマイズする。
• タスク間の学習バランスを取る最適化された学習損失関数と戦略。
• 同時に交通物体検出、走行領域セグメンテーション、車線検出を可能にするエンドツーエンドフレームワーク。
• 先行研究と比較したBerkeley DeepDrive Datasetでの評価。

実験結果

リサーチクエスチョン

• RQ1 従来手法と比較して、検出、走行領域セグメンテーション、車線検出の精度をエンドツーエンドの多タスク知覚ネットワークで改善できますか？
• RQ2 カスタマイズされたアンカーを備えた重み付き双方向特徴ネットワークは、タスク別の性能と効率を改善しますか？
• RQ3 提案された学習戦略は、マルチタスク最適化のバランスとリアルタイム推論の実現性にどれくらい効果的ですか？

主な発見

• HybridNetsはBerkeley DeepDrive Datasetで77.3のmean Average Precisionを達成します。
• 車線検出は31.6のmean Intersection over Unionを達成します。
• モデルは12.83百万パラメータと15.6十億FLOPsを使用します。
• このアプローチはリアルタイムで動作し、多タスクの運転知覚に実用的です。
• HybridNetsのコードは提供されたURLで利用可能です。