[論文レビュー] Deep Learning based Computer Vision Methods for Complex Traffic Environments Perception: A Review

Talha Azfar, Jinlong Li+4 more|arXiv (Cornell University)|Nov 9, 2022

Traffic Prediction and Management Techniques被引用数 7

ひとこと要約

本稿は、インтелиジェントトランスポーテーションシステムおよび自動運転におけるディーブラーニングベースのコンピュータビジョン手法をレビューし、データ、モデル設計、複雑な都市環境における課題を特定する。実用的な解決策として、トランスファーラーニング、協調的センシング、エッジコンピューティングを提案し、実世界の交通状況での信頼できる展開を可能にするために、耐障害性・説明可能性・リアルタイム性に優れたモデルの必要性を強調する。

ABSTRACT

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

研究の動機と目的

• 実世界の複雑な交通環境に向けたディーブラーニングベースのコンピュータビジョンの展開における主要な課題を特定・分類すること。
• データ収集、ラベリング、バイアス、プライバシーの制限が、モデルの汎化性能および実世界でのパフォーマンスに与える影響を分析すること。
• 計算複雑性、説明可能性の欠如、未確認シナリオへの一般化能力の低さといった、ディーブラーニングモデルの欠険を評価すること。
• 遮蔽、照明の変動、センサの劣化、多様な交通状況といった環境要因が、モデルの信頼性に与える影響を検討すること。
• 実用的展開に焦点を当てた今後の研究方向性を提案すること。具体的には、トランスファーラーニング、協調的センシング、エッジコンピューティングを含む。

提案手法

• ITSおよび自動運転におけるコンピュータビジョンのディーブラーニングに関する200篇以上の論文を網羅的にレビューした。
• 課題を3つのカテゴリーに分類した：データ関連（収集、ラベリング、バイアス、プライバシー）、モデル関連（複雑性、説明可能性の欠如、検証の難しさ）、環境要因（遮蔽、照明、センサ故障）。
• 交通流推定、混雑検出、自動車の周辺認識、リアルタイム展開のためのエッジコンピューティングといった代表的な応用をレビューした。
• ドメイン適応、少数ショット学習、ゼロショット学習、ビジョントランスフォーマーといった技術を評価し、モデルの耐障害性および一般化性能の向上を検討した。
• V2Xネットワークとビジョントランスフォーマーを活用した協調的センシングを検討し、連結自動車におけるセンシング性能の向上を分析した。
• 今後の方向性として、オンライン学習、マルチソースデータ統合、適応的特徴集約を提案し、マルチオブジェクトトラッキングおよび異常検出の向上を図った。

Figure 1: Applications of deep learning based computer vision methods in transportation and associated challenges in real world deployment.

実験結果

リサーチクエスチョン

• RQ1 実世界の交通環境に向けたディーブラーニングモデルの展開に影響を与える主なデータ関連課題は何か？
• RQ2 モデルの複雑性、説明可能性の欠如、一般化能力の低さが、ITSおよび自動運転におけるディーブラーニングの実用的利用をどのように制限するか？
• RQ3 遮蔽、照明の変動、センサの劣化といった複雑な都市環境要因が、モデルパフォーマンスにどのような影響を与えるか？
• RQ4 未確認またはレアな交通シナリオにおけるモデルの耐障害性および一般化性能を向上させる技術は何か？
• RQ5 協調的センシングとエッジコンピューティングは、複雑な交通環境におけるリアルタイムで信頼性の高いセンシングをどのように向上させるか？

主な発見

• データ課題には、大量データ収集、偏りや過剰代表クラス、時間のかかるラベリング、プライバシー懸念が含まれ、これらはモデルの一般化性能を阻害する。
• ディーブラーニングモデルは、高い計算複雑性、説明可能性の欠如、実世界条件での検証の難しさに起因し、展開可能性が制限される傾向がある。
• 遮蔽、不規則な照明、カメラの不安定性といった環境要因は、多様な条件で訓練した後でさえ、パフォーマンスを著しく低下させる。
• トランスファーラーニング、ドメイン適応、少数ショット学習といった技術は、レアまたは未確認シナリオでのモデルパフォーマンス向上に効果的であると示唆される。
• V2Xとビジョントランスフォーマーを用いた協調的センシングにより、マルチビューのデータ統合が可能となり、遮蔽や照明の問題が軽減され、耐障害性が向上する。
• 将来的な展開では、エッジコンピューティング、オンライン学習、マルチソースデータ統合が、リアルタイム適応および異常検出の向上に貢献する。

Figure 2: Illustration of representative challenges associated with data in computer vision applications for transportation.