[論文レビュー] Edge Computing for Real-Time Near-Crash Detection for Smart Transportation Applications

Ruimin Ke, Zhiyong Cui+4 more|arXiv (Cornell University)|Aug 2, 2020

Video Surveillance and Tracking Methods参考文献 29被引用数 5

ひとこと要約

本論文は、オンボードのドライブレコーダー動画ストリームを用いたリアルタイム近接近衝突検出のためのエッジコンピューティングベースのシステムを提案する。マルチスレッド処理とオブジェクト検出・トラッキング出力の線形複雑性モデリングを活用し、実世界のデータ1万時間にわたる評価において、高い効率性、正確性、および移植性を達成するとともに、リアルタイムでの不要動画のフィルタリングにより帯域幅、ストレージ、人的コストを削減した。

ABSTRACT

Traffic near-crash events serve as critical data sources for various smart transportation applications, such as being surrogate safety measures for traffic safety research and corner case data for automated vehicle testing. However, there are several key challenges for near-crash detection. First, extracting near-crashes from original data sources requires significant computing, communication, and storage resources. Also, existing methods lack efficiency and transferability, which bottlenecks prospective large-scale applications. To this end, this paper leverages the power of edge computing to address these challenges by processing the video streams from existing dashcams onboard in a real-time manner. We design a multi-thread system architecture that operates on edge devices and model the bounding boxes generated by object detection and tracking in linear complexity. The method is insensitive to camera parameters and backward compatible with different vehicles. The edge computing system has been evaluated with recorded videos and real-world tests on two cars and four buses for over ten thousand hours. It filters out irrelevant videos in real-time thereby saving labor cost, processing time, network bandwidth, and data storage. It collects not only event videos but also other valuable data such as road user type, event location, time to collision, vehicle trajectory, vehicle speed, brake switch, and throttle. The experiments demonstrate the promising performance of the system regarding efficiency, accuracy, reliability, and transferability. It is among the first efforts in applying edge computing for real-time traffic video analytics and is expected to benefit multiple sub-fields in smart transportation research and applications.

研究の動機と目的

• スマート交通システムにおける大規模な動画データから近接近衝突イベントを抽出する際の高い計算、通信、ストレージ要件に対処すること。
• 大規模展開に向けた既存の近接近衝突検出手法における非効率性と移植性の欠如を克服すること。
• クラウドインfra構造に依存せずに、車両のエッジデバイス上でドライブレコーダー動画ストリームをリアルタイムで処理すること。
• 衝突イベントだけでなく、車両速度、軌道、衝突までの時間といった豊富な文脈的情報を捉えるシステムを開発すること。
• カメラパラメータに依存しない設計により、多様な車両およびカメラ設定との互換性を確保すること。

提案手法

• エッジデバイスにマルチスレッド型のシステムアーキテクチャを実装し、動画ストリームの並列処理とリアルタイム分析を可能にした。
• オブジェクト検出およびトラッキング出力を線形複雑性アルゴリズムでモデリングすることで、スケーラビリティと低遅延処理を確保した。
• オブジェクト検出からのバウンディングボックスを処理し、衝突までの時間、車両速度、軌道といった重要な指標を算出した。
• イベント動画とともに、道路利用者タイプ、イベント位置、ブレーキスイッチ状態、アクセル入力といった構造化されたデータを抽出・保存した。
• さまざまな車両タイプおよびカメラ設定と後方互換性を持つ設計であり、広範な展開可能性を確保した。
• オンボードでの非イベント動画のリアルタイムフィルタリングを実施し、データ送信およびストレージの必要を顕著に削減した。

実験結果

リサーチクエスチョン

• RQ1 エッジコンピューティングは、クラウドインfra構造に依存せずに、ドライブレコーダー動画ストリームのリアルタイム、デバイス内処理を近接近衝突検出に可能にするか？
• RQ2 システムは、重要な安全関連データを保持しつつ、不要な動画コンテンツをどの程度効率的にフィルタリングできるか？
• RQ3 異なる車両およびカメラ設定間で、システムの頑健性と移植性はどの程度高いか？
• RQ4 実際の走行条件下で、システムは近接近衝突イベントを検出する上でどの程度正確かつ信頼性があるか？
• RQ5 システムは、リアルタイムでイベント動画とともに、速度、軌道、ブレーキ状態といった豊富な文脈的情報を同時に抽出できるか？

主な発見

• 本システムは、2台の車両および4台のバスから得られた実世界の動画データ1万時間以上を、高い信頼性と低遅延で処理した。
• リアルタイムでの不要動画のフィルタリングにより、ネットワーク帯域幅、データストレージ、人的労働コストを顕著に削減した。
• 実世界でのテストを通じて、近接近衝突イベントの検出において高い正確性を示し、イベント検出に報告された障害は一切なかった。
• カメラパラメータに依存せず、さまざまな車両タイプおよび設定において一貫したパフォーマンスを維持した。
• 衝突までの時間、車両速度、ブレーキスイッチ状態、アクセル入力といった価値ある補足データを高い忠実度で捉え、保存した。
• 本システムは、強力な移植性と効率性を備えた、リアルタイム交通動画分析のためのエッジコンピューティングの実装の先駆けの一つである。