[論文レビュー] A system of vision sensor based deep neural networks for complex driving scene analysis in support of crash risk assessment and prevention

Muhammad Monjurul Karim, Yu Li+2 more|arXiv (Cornell University)|Jun 18, 2021

Advanced Neural Network Applications参考文献 19被引用数 6

ひとこと要約

本論文は、マルチネット、YOLO v3、DeepLab v3を統合したビジョンセンサーベースのディーブラーニングシステムを提案し、衝突リスク評価と防止のためのリアルタイムな複雑なドライブシーン分析を実現する。衝突可能性とレーン機能分類のための2つの新規で公開可能なデータセットを導入し、シーン分類の正確性が92.5%に達し、物体検出および分類タスクにおけるリアルタイム推論速度は6 fpsを達成した。

ABSTRACT

To assist human drivers and autonomous vehicles in assessing crash risks, driving scene analysis using dash cameras on vehicles and deep learning algorithms is of paramount importance. Although these technologies are increasingly available, driving scene analysis for this purpose still remains a challenge. This is mainly due to the lack of annotated large image datasets for analyzing crash risk indicators and crash likelihood, and the lack of an effective method to extract lots of required information from complex driving scenes. To fill the gap, this paper develops a scene analysis system. The Multi-Net of the system includes two multi-task neural networks that perform scene classification to provide four labels for each scene. The DeepLab v3 and YOLO v3 are combined by the system to detect and locate risky pedestrians and the nearest vehicles. All identified information can provide the situational awareness to autonomous vehicles or human drivers for identifying crash risks from the surrounding traffic. To address the scarcity of annotated image datasets for studying traffic crashes, two completely new datasets have been developed by this paper and made available to the public, which were proved to be effective in training the proposed deep neural networks. The paper further evaluates the performance of the Multi-Net and the efficiency of the developed system. Comprehensive scene analysis is further illustrated with representative examples. Results demonstrate the effectiveness of the developed system and datasets for driving scene analysis, and their supportiveness for crash risk assessment and crash prevention.

研究の動機と目的

• 複雑なドライブシーンにおける衝突リスク指標および衝突可能性のためのアノテート済みデータセットの不足に対処すること。
• 自律走行車両および人間のドライバーの状況認識を向上させるリアルタイムでマルチタスクなディーブラーニングシステムを開発すること。
• 衝突可能性、レーン機能、天候、および時間帯に基づいてシーンを分類することで、衝突リスク評価を向上させること。
• 物体検出およびインスタンスセグメンテーションを用いて、危険な歩行者および近隣の車両を検出し、位置を特定すること。
• 従来のシステムの限界を克服するため、マルチタスク分類と物体検出・セグメンテーションを統合し、包括的なシーン理解を実現すること。

提案手法

• 衝突可能性、レーン機能、天候、時間帯の4つのラベルにドライブシーンを分類する2つのマルチタスクディープニューラルネットワークを用いたマルチネットモデルを開発した。
• リアルタイムな歩行者および車両の物体検出にYOLO v3を統合し、危険な歩行者は赤いボックス、安全な歩行者は緑のボックスで強調表示した。
• ドライブ可能な領域を特定し、危険な要素の正確な局所化を支援するため、インスタンスセグメンテーションにDeepLab v3を組み合わせた。
• 2段階の推論パイプラインを設計した：まずDeepLab v3で2 fpsで画像をセグメンテーションし、その後マルチネットとYOLO v3で6 fpsで分類および物体検出を実行した。
• 2つの新規で完全にアノテート済みのデータセットを構築した：1つは衝突関連のシーン分類（衝突なし、衝突前、衝突）用、もう1つはレーン機能分類（インターチェンジ、収集レーン、ローカルレーンなど）用。
• 推論中にGPUメモリ負荷を軽減するため、セグメンテーション出力をディスクに保存することでメモリ使用量を最適化した。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクディープニューラルネットワークは、衝突可能性、レーン機能、天候、時間帯に基づいて、複雑なドライブシーンを効果的に分類できるか？
• RQ2 YOLO v3およびDeepLab v3は、リアルタイムで危険な歩行者および近隣の車両をどれほど正確に検出し、位置を特定できるか？
• RQ3 新たに開発されたデータセットは、衝突リスク評価タスクにおけるディーブラーニングモデルの性能をどの程度向上させるか？
• RQ4 統合システムの推論速度はどの程度で、リアルタイムのドライブシーン分析をサポートできるか？
• RQ5 ドライブ可能な領域のセグメンテーションと物体検出をどのように統合すれば、衝突防止のための状況認識が向上するか？

主な発見

• マルチネットは、衝突可能性およびレーン機能データセットにおいて92.5%のシーン分類正確性を達成し、マルチラベル分類において優れた性能を示した。
• システムは危険な歩行者を、直接走行レーン上にいる場合やドライブ可能な領域外にいる場合に赤い境界ボックスで明確に検出し、安全な歩行者は緑でマークした。
• システムは危険な歩行者までの正確な距離（例：10.23 ftおよび5.07 ft）および近隣の車両までの距離（例：4.63 ftおよび14.34 ft）を計算し、リスクに配慮した意思決定を可能にした。
• 分類および物体検出タスクにおける推論速度は6 fpsに達し、インスタンスセグメンテーションの2 fpsのボトル neck にもかかわらず、リアルタイム分析が可能であった。
• 新たに開発された2つのデータセットは、ディープニューラルネットワークの学習に効果的であり、今後のドライブシーン分析研究を支援するため、公開されている。
• システムは衝突に関連する要素（歩行者、車両など）を検出し、位置を特定する能力を示し、衝突リスク防止のための状況認識を顕著に向上させた。