[論文レビュー] An intelligent modular real-time vision-based system for environment perception

Amirhossein Kazerouni, Amirhossein Heydarian Ardakani+4 more|arXiv (Cornell University)|Mar 29, 2023

Autonomous Vehicle Technology and Safety被引用数 6

ひとこと要約

本論文は、YOLOv5、PINet、SGDepthを用いた、モジュラーでリアルタイムなビジョンベースのドライバー支援システムを提案する。このシステムは、最適化されたディープラーニングモデルを用いて、レーン検出、物体検出、セマンティックセグメンテーション、単眼深度推定を統合している。独自のデータセットとBDD100Kで微調整された本システムは、全モジュールで80%以上の精度を達成し、応答性の高いGUIを備えたリアルタイムでの動作を実現しており、完全自動運転システムの低コスト代替手段を提供する。

ABSTRACT

A significant portion of driving hazards is caused by human error and disregard for local driving regulations; Consequently, an intelligent assistance system can be beneficial. This paper proposes a novel vision-based modular package to ensure drivers' safety by perceiving the environment. Each module is designed based on accuracy and inference time to deliver real-time performance. As a result, the proposed system can be implemented on a wide range of vehicles with minimum hardware requirements. Our modular package comprises four main sections: lane detection, object detection, segmentation, and monocular depth estimation. Each section is accompanied by novel techniques to improve the accuracy of others along with the entire system. Furthermore, a GUI is developed to display perceived information to the driver. In addition to using public datasets, like BDD100K, we have also collected and annotated a local dataset that we utilize to fine-tune and evaluate our system. We show that the accuracy of our system is above 80% in all the sections. Our code and data are available at https://github.com/Pandas-Team/Autonomous-Vehicle-Environment-Perception

研究の動機と目的

• ドライバーのミスや交通ルール違反に起因する事故を減らすために、ドライバー向けのリアルタイム環境認識を提供すること。
• 低コストハードウェアでも効率的に動作する軽量でモジュラーなシステムを構築し、多様な走行条件下でも高い精度を維持すること。
• レーン検出、物体検出、セグメンテーション、深度推定の複数の認識タスクを統合的でリアルタイムなパイプラインに統合すること。
• 動的ROIと微調整を用いて、照明が悪い状況、レーンが遮蔽されている状況、道路マークが欠落している状況などの困難なシナリオにおけるモデルの頑健性を向上させること。
• 交通標識の状態、障害物までの距離、信号機の情報を可視化するGUIを通じて、ドライバーに即効性のあるフィードバックを提供すること。

提案手法

• レーン検出にPINetを用い、BDD100Kと新たに収集したローカルデータセットの組み合わせで微調整することで、ラインなしまたは遮蔽された状況での性能を向上させた。
• リアルタイムの物体検出にYOLOv5を採用し、車両、歩行者、15種類の交通標識を検出。ローカルデータセット上で速度とmAPの両面で最適化された。
• セマンティックセグメンテーションと単眼深度推定を同時に実行するSGDepthを採用し、歩道境界の正確な検出と距離測定を可能にした。
• 深度マップとセグメンテーション出力を用いて、近隣の車両までの正確な距離を計算する新しい階層的手法を提案した。
• 環境の変動に伴う予測の不安定化を緩和し、誤検出を低減するために、動的領域の注目（ROI）機構を導入した。
• 検出された物体、レーン位置、信号機の状態、障害物までの距離を可視化するリアルタイムGUIを開発し、ドライバーへの即時フィードバックを可能にした。

Figure 1: Overview of the proposed system. Continuous lines represent system modules’ main data path, and dashed lines denote the additional data, which aids in the accuracy of the system.

実験結果

リサーチクエスチョン

• RQ1 レーン検出、物体検出、セグメンテーション、深度推定を統合したモジュラーでリアルタイムなビジョンシステムは、最小限のハードウェア要件でドライバーの安全性を著しく向上させることができるか？
• RQ2 独自のデータセットで微調整されたPINetは、標準の事前学習モデルと比較して、視界が悪い状況やレーンがない状況での性能がどのように向上するか？
• RQ3 SGDepthのようなマルチタスクモデルを用いることで、独立したモデルと比較してセグメンテーションと深度推定の両方の精度がどの程度向上するか？
• RQ4 複数のディープラーニングモデルを1つのリアルタイムパイプラインに統合する際の、推論速度と精度のトレードオフはいかほどか？
• RQ5 提案されたGUIは、ドライバーにタイムリーかつ即効性のある環境情報をどの程度効果的に伝えることができるか？

主な発見

• 本システムは、BDD100Kと独自のローカルデータセットの両方で、全4つのモジュール（レーン検出、物体検出、セグメンテーション、深度推定）で80%以上の精度を達成した。
• YOLOv5はローカルデータセット上で他の最先端の物体検出器を上回り、mAP 96.01%、90.9 FPSを達成し、リアルタイム性能に最適であることが示された。
• ローカルデータセットで微調整されたPINetは、FPSが低いものの、CondLaneNet や CLRNet と比較して、低照度や遮蔽状況でも優れた頑健性を示した。
• 動的ROI機構により、PINetの安定性と精度が顕著に向上し、レーン検出における誤検出が著しく減少した。
• SGDepthの出力に基づく階層的距離計算手法により、周囲の車両までの距離を高信頼性で正確かつリアルタイムに推定可能となった。
• 全モジュールを有効にした状態でも、システム全体のリアルタイム性能（FPS > 30）を維持しており、わずかにフレームドロップが発生する程度であった。これは、実用的な実現可能性が極めて高いことを示している。

Figure 2: The overview of PINet [ 31 ] .