[論文レビュー] YOLOP: You Only Look Once for Panoptic Driving Perception

Dong Wu, Manwen Liao+5 more|arXiv (Cornell University)|Aug 25, 2021

Advanced Neural Network Applications参考文献 35被引用数 4

ひとこと要約

YOLOPは、1つのエンコーダーと3つのタスク固有のデコーダーを用いて、1枚の入力画像からオブジェクト検出、走行可能領域セグメンテーション、レーン検出を同時に実行するリアルタイムでエンドツーエンドのマルチタスクネットワークを提案する。BDD100Kデータセットにおいて最先端の性能を達成し、Jetson TX2組み込みデバイスでも23 FPSで動作する。これは、高精度を維持しながらエッジハードウェアでリアルタイム推論を実現する最初のシステムである。

ABSTRACT

A panoptic driving perception system is an essential part of autonomous driving. A high-precision and real-time perception system can assist the vehicle in making the reasonable decision while driving. We present a panoptic driving perception network (YOLOP) to perform traffic object detection, drivable area segmentation and lane detection simultaneously. It is composed of one encoder for feature extraction and three decoders to handle the specific tasks. Our model performs extremely well on the challenging BDD100K dataset, achieving state-of-the-art on all three tasks in terms of accuracy and speed. Besides, we verify the effectiveness of our multi-task learning model for joint training via ablative studies. To our best knowledge, this is the first work that can process these three visual perception tasks simultaneously in real-time on an embedded device Jetson TX2(23 FPS) and maintain excellent accuracy. To facilitate further research, the source codes and pre-trained models are released at https://github.com/hustvl/YOLOP.

研究の動機と目的

• 自律走行のための統合的でリアルタイムの周辺環境認識システムを構築し、オブジェクト検出、走行可能領域セグメンテーション、レーン検出を統合的に処理すること。
• オブジェクト検出、走行可能領域セグメンテーション、レーン検出の3つのタスクを、リソース制限のある組み込みデバイス（例：Jetson TX2）上で高精度かつ低遅延で実行する課題に対処すること。
• 複雑な交互最適化を必要とせず、エンドツーエンドのマルチタスク学習の有効性を検証すること。
• グリッドベースの検出ヘッドが、領域ベースのアプローチと比較して、セマンティックセグメンテーションタスクとより適合するかどうかを調査すること。

提案手法

• 軽量なCNNエンコーダーが、1枚の入力画像からマルチスケール特徴を抽出する。
• 3つのデコーダーを用いる：オブジェクト検出用（YOLOv4に基づく）、走行可能領域セグメンテーション用、レーン線セグメンテーション用。
• すべてのタスクを共有バックボーンを用いてエンドツーエンドで訓練することで、特徴の共有と共同最適化を実現する。
• 検出ヘッドではグリッドベースの予測メカニズムを採用しており、セグメンテーションタスクのグローバルピクセル単位の予測と整合性がある。
• アブレーションスタディでは、エンドツーエンド学習と段階的学習を比較し、異なる検出フレームワーク（グリッドベース対領域ベース）の影響を評価する。
• 標準的な指標を用いてBDD100Kデータセット上でフレームワークを評価する：検出にはAP、セグメンテーションにはmIoU、レーン検出にはIoUを使用する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、リアルタイムでオブジェクト検出、走行可能領域セグメンテーション、レーン検出の3つのタスクにおいて同時に最先端の性能を達成できるか？
• RQ2 エンドツーエンドのマルチタスク学習は、個々のタスクを別々に訓練する方法に比べ、精度と効率の面で優れているか？
• RQ3 ワンステージ検出器のグリッドベース予測メカニズムは、二段階検出器の領域ベースメカニズムと比較して、セマンティックセグメンテーションタスクとより適合するか？
• RQ4 交互最適化を必要とせず、マルチタスクネットワークを効果的に訓練できるか？すべてのタスクで性能が維持されるか？

主な発見

• YOLOPはBDD100Kデータセットにおいて、オブジェクト検出（AP: 76.5%）、走行可能領域セグメンテーション（mIoU: 91.5%）、レーン検出（IoU: 26.2%）の3つのタスクで、いずれも最先端の性能を達成した。
• 単一のTITAN XPで41 FPS、Jetson TX2では23 FPSで動作し、これは、このマルチタスク認識設定において、エッジハードウェアでリアルタイム推論を実現する最初のシステムである。
• エンドツーエンドのマルチタスク学習は、単一タスク学習とほぼ同等の性能を示し、性能低下が最小限（例：検出のみのAP: 76.9% 対 YOLOPのAP: 76.5%）に抑えられつつ、推論時間を大幅に短縮した。
• YOLOPのグリッドベース検出ヘッドは、セグメンテーションヘッドと安定した共同学習を可能にしたが、領域ベースのR-CNNPフレームワークでは、検出とセグメンテーションの両方を同時に学習すると性能が低下した。
• アブレーションスタディにより、グリッドベースの予測メカニズムが、セマンティックセグメンテーションタスクと領域ベースのアプローチよりも適合性が高いことが確認され、YOLOPの設計選択を裏付けた。
• 複雑な交互最適化を必要とせず、すべてのタスクで高い精度を維持した。これは、エンドツーエンド学習パラダイムの頑健性を示している。