[論文レビュー] Real-time Prediction of Automotive Collision Risk from Monocular Video

Derek J. Phillips, Juan Carlos Aragon+4 more|arXiv (Cornell University)|Feb 4, 2019

Video Surveillance and Tracking Methods参考文献 32被引用数 10

ひとこと要約

本論文では、単眼動画を用いて自動車衝突リスクをリアルタイムかつ低コストで予測するためのモジュラーなパイプラインを提示する。このパイプラインは、深層学習ベースの物体検出、パーティクルフィルターベースのトラッキング、および第一原理的距離・速度推定を組み合わせたものである。本システムは、一般消費者向けハードウェアでも5 Hzを超える推論性能を達成しており、今後の10秒間の衝突までの時間（TTC）とドライバーのモデルを用いたモンテカルロシミュレーションによりリスク予測が可能であり、標準的なラップトップやWebカメラ上でも堅牢で実用的な展開が可能であることを示している。

ABSTRACT

Many automotive applications, such as Advanced Driver Assistance Systems (ADAS) for collision avoidance and warnings, require estimating the future automotive risk of a driving scene. We present a low-cost system that predicts the collision risk over an intermediate time horizon from a monocular video source, such as a dashboard-mounted camera. The modular system includes components for object detection, object tracking, and state estimation. We introduce solutions to the object tracking and distance estimation problems. Advanced approaches to the other tasks are used to produce real-time predictions of the automotive risk for the next 10 s at over 5 Hz. The system is designed such that alternative components can be substituted with minimal effort. It is demonstrated on common physical hardware, specifically an off-the-shelf gaming laptop and a webcam. We extend the framework to support absolute speed estimation and more advanced risk estimation techniques.

研究の動機と目的

• 単一の動画ストリームのみを用いて、自動車走行シーンにおける将来の衝突リスクをリアルタイムかつ低コストで予測するシステムを開発すること。
• モノクロナル動画からのオブジェクトトラッキング、相対距離推定、エゴ車両の速度推定という課題に、最小限の計算負荷で対処すること。
• 市販ハードウェア上で5 Hzを超えるリアルタイムリスク予測を実現するモジュラーで拡張可能なフレームワークを設計すること。
• レーンマークを用いた絶対速度推定と、ドライバー行動のモンテカルロシミュレーションによる高度なリスクモデリングをシステムに拡張すること。
• 今後のリアルタイム自動車リスク予測分野の研究を支援するオープンソースプラットフォームを提供すること。

提案手法

• トラフィック参加者の状態を複数の動画フレームにわたって推定するため、パーティクルフィルターベースのオブジェクトトラッカーを提案する。これにより、遮蔽やノイズの影響下でも堅牢なトラッキングが可能になる。
• 既知の車両寸法と画像内での車両の高さを用いて、深層学習ベースの深度推定を回避する第一原理的な幾何的手法により相対距離を推定する。
• 画像内でのレーンマークの検出とトラッキングにより、その空間周波数と方向性を用いてエゴ車両の速度を推定する。
• 相対位置と相対速度を用いて、リスクの代理指標として衝突までの時間（TTC）を計算する。
• ドライバー行動の確率的シミュレーションを実現するため、インテリジェントドライバー・モデル（IDM）とMOBIL車線変更モデルを用いてモンテカルロリスク推定を実装し、確率的リスク予測を生成する。
• リアルタイム性能を維持するため、検出、トラッキング、状態推定、リスク計算の各処理パイプラインを別々に実行するマルチスレッドアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 単眼動画システムは、一般消費者向けハードウェアのみを用いて、5 Hzを超えるリアルタイム自動車リスク予測を達成できるか？
• RQ2 パーティクルフィルターベースのトラッカーと幾何的距離推定を組み合わせた手法は、走行シーンにおけるリアルタイムオブジェクト状態推定にどの程度有効か？
• RQ3 レーンマークを用いた速度推定は、リスク予測に十分な精度で信頼性を持って実施可能か？
• RQ4 決定論的TTCに基づくリスク予測と比較して、ドライバー行動のモンテカルロシミュレーションは、リスク予測の現実性と応答性をどの程度向上させるか？
• RQ5 本システムは、リアルタイム性能に影響を与えることなく、代替のコンponent（例：異なる物体検出器やリスクモデル）との統合がどの程度容易に可能か？

主な発見

• 本システムは、標準的なゲーミングラップトップとWebカメラを用いても、4.9 FPS程度の最終フレームレートを達成し、5 Hzを超えるリアルタイム性能を実現している。特にモンテカルロリスク推定器を組み込むと計算負荷が増加するが、依然として実用的な性能を維持している。
• レーンベースの速度推定器は、65 km/hの実際のスピードメーター読み上げに対して約7 km/h低めに予測するが、これは米国規格における許容範囲内に収まっている。
• パーティクルフィルタートラッカーは、部分的遮蔽やノイズの影響下でも、トラフィック参加者の追跡を安定的かつ高精度に実現している。
• 深層学習ベースの深度ネットワークやステレオカメラを必要としない幾何的距離推定法により、信頼性の高い相対距離測定が可能である。
• ドライバー行動のモンテカルロシミュレーションにより、決定論的TTCベースのリスク予測に比べ、よりダイナミックで現実的なリスク予測が得られている。これは、車両行動の確率的シミュレーションによるものである。
• モジュラー設計により、異なる物体検出器やリスクモデルへの容易な統合が可能であり、コード変更の最小限に抑えられる。