[論文レビュー] Intelligent Intersection: Two-Stream Convolutional Networks for Real-time Near Accident Detection in Traffic Video

Xiaohui Huang, Pan He+2 more|arXiv (Cornell University)|Jan 4, 2019

Video Surveillance and Tracking Methods参考文献 49被引用数 25

ひとこと要約

本論文では、空間的および時間的ストリームネットワークを用いて、空中交通映像においてリアルタイムでの車両検出、マルチオブジェクトトラッキング、ニアアクシデント検出を統合的に行う2ストリーム3次元畳み込みニューラルネットワーク（3D CNN）フレームワークを提案する。本手法は、新規の交通ニアアクシデントデータセット（TNAD）上で89.4%の精度、83.3%の再現率、86.3%のF1スコアを達成し、20–30 fpsの高いフレームレート性能を示した。

ABSTRACT

In Intelligent Transportation System, real-time systems that monitor and analyze road users become increasingly critical as we march toward the smart city era. Vision-based frameworks for Object Detection, Multiple Object Tracking, and Traffic Near Accident Detection are important applications of Intelligent Transportation System, particularly in video surveillance and etc. Although deep neural networks have recently achieved great success in many computer vision tasks, a uniformed framework for all the three tasks is still challenging where the challenges multiply from demand for real-time performance, complex urban setting, highly dynamic traffic event, and many traffic movements. In this paper, we propose a two-stream Convolutional Network architecture that performs real-time detection, tracking, and near accident detection of road users in traffic video data. The two-stream model consists of a spatial stream network for Object Detection and a temporal stream network to leverage motion features for Multiple Object Tracking. We detect near accidents by incorporating appearance features and motion features from two-stream networks. Using aerial videos, we propose a Traffic Near Accident Dataset (TNAD) covering various types of traffic interactions that is suitable for vision-based traffic analysis tasks. Our experiments demonstrate the advantage of our framework with an overall competitive qualitative and quantitative performance at high frame rates on the TNAD dataset.

研究の動機と目的

• 複雑な都市部の交通シーンにおいて、リアルタイムで統合的検出・トラッキング・ニアアクシデント分析を実現する課題に対処すること。
• 高いダイナミックレンジ、変化する照明、リアルタイム制約に対応できない既存システムの限界を克服すること。
• 外観特徴と運動特徴を統合した、より優れたニアアクシデント予測を実現する統合的ディープラーニングフレームワークの開発。
• ビジョンベースの交通分析とニアアクシデント検出のベンチマークを支援するため、新しい多様な空中映像データセット（TNAD）の作成。
• 実世界のインテリジェント交通システム（ITS）への導入に適した高速処理（20–30 fps）を実現すること。

提案手法

• 外観特徴を単一フレームから抽出する空間ストリームを用いて、物体検出を実行する2ストリーム3D CNNアーキテクチャを採用。
• 動画クリップからの運動特徴を抽出する時間的ストリームネットワークを活用し、マルチオブジェクトトラッキングと軌道推定を実現。
• 両ストリームからの特徴を統合し、空間的接近度と逆方向の運動パターンに基づいてニアアクシデントの確率を計算。
• ニアアクシデントの局所化における真陽性検出の閾値として、交差領域比（IoU）≥ 0.6 を適用。
• スパarsなサンプリングを用いて、57本のシミュレーション動画と51,123フレームを含むカスタム交通ニアアクシデントデータセット（TNAD）で学習および評価。
• 空間ストリームでは最先端の物体検出手法を、時間的ストリームでは密な軌道計算を用いて、頑健なトラッキングを実現。

実験結果

リサーチクエスチョン

• RQ1 統合的2ストリーム3D CNNアーキテクチャは、空中交通映像においてリアルタイムでの検出・トラッキング・ニアアクシデント検出を効果的に行えるか？
• RQ2 外観特徴と運動特徴を統合することで、単一モodalなアプローチに比べてニアアクシデント検出精度がどの程度向上するか？
• RQ3 本フレームワークは、多様な交通状況や照明条件下でもリアルタイム性能（20–30 fps）を維持できるか？
• RQ4 新規で多様なデータセット（TNAD）におけるニアアクシデント検出の定量的性能は、どのように比較されるか？
• RQ5 本手法は、都市部の交差点における自動車・オートバイ・歩行者を含む複雑な交通インタラクションに一般化可能か？

主な発見

• 提案された2ストリーム3D CNNは、TNADデータセットにおいてニアアクシデント検出で89.4%の精度、83.3%の再現率、86.3%のF1スコアを達成した。
• 960×480解像度において28 fpsのリアルタイム性能を維持しており、実世界のITSへの導入に適していることが示された。
• 空間ストリームは外観特徴を用いて車両およびニアアクシデント候補を効果的に検出する一方、時間的ストリームは運動パターンによりトラッキング精度を向上させる。
• 外観特徴と運動特徴の統合により、空間的重複と逆方向の軌道パターンを捉えることで、ニアアクシデント検出が顕著に向上した。
• 57本のシミュレーション動画にまたがる51,123フレームを含むTNADデータセットは、多様な交通インタラクションを有する、ニアアクシデント検出の多様なベンチマークを提供する。
• 定性的な結果から、混雑状態、変化する照明、交差点での複雑な操作状況など、挑戦的な条件下でも頑健な性能を示した。