[論文レビュー] Driver Behavior Analysis Using Lane Departure Detection Under Challenging Conditions

Luis G. Riera, Koray Özcan+4 more|arXiv (Cornell University)|May 31, 2019

Autonomous Vehicle Technology and Safety参考文献 18被引用数 9

ひとこと要約

本稿では、マスク-RCNNを用いた線分離と固定遅れカルマンフィルタを用いたトラッキングにより、低解像度でノイズの多い動画においても、変則的走行や車線違反を安定して検出可能なディープラーニングベースの車線逸脱検出システムを提案する。本手法は、糖尿病を有するリスクの高いドライバーを対象とした独自データセットにおいて、車線逸脱イベントの検出で81.81%の感受性を達成した。

ABSTRACT

In this paper, we present a novel model to detect lane regions and extract lane departure events (changes and incursions) from challenging, lower-resolution videos recorded with mobile cameras. Our algorithm used a Mask-RCNN based lane detection model as pre-processor. Recently, deep learning-based models provide state-of-the-art technology for object detection combined with segmentation. Among the several deep learning architectures, convolutional neural networks (CNNs) outperformed other machine learning models, especially for region proposal and object detection tasks. Recent development in object detection has been driven by the success of region proposal methods and region-based CNNs (R-CNNs). Our algorithm utilizes lane segmentation mask for detection and Fix-lag Kalman filter for tracking, rather than the usual approach of detecting lane lines from single video frames. The algorithm permits detection of driver lane departures into left or right lanes from continuous lane detections. Preliminary results show promise for robust detection of lane departure events. The overall sensitivity for lane departure events on our custom test dataset is 81.81%.

研究の動機と目的

• 実際の走行条件下で、モバイルカメラから得られる低解像度でノイズの多い動画録画を処理できる、耐障害性の高い車線逸脱検出システムの開発。
• 糖尿病を有するリスクの高い集団に共通する、特に車線内への侵入や車線変更といった危険な走行行動の検出を改善すること。
• 従来の画像特徴ベースの車線検出の限界を克服し、より正確な車線分離とトラッキングを実現するため、ディープラーニングを活用すること。
• 先進ドライバー支援システム（ADAS）や現地での安全対策に応用可能な、リアルタイムまたは準リアルタイムの車線逸脱検出の実装を可能にすること。
• リスクの高いドライバーから収集されたテラバイト規模の動画データセットを用いた、縦断的行動研究のための大規模データ分析を支援すること。

提案手法

• 車線領域のインスタンスセグメンテーションを実行し、正確な車線境界の検出を可能にするために、マスク-RCNNに基づくモデルを事前処理として用いる。
• セグメンテーションされた車線マスクの凸包の重心を時間経過に伴いトラッキングし、画像の縦軸中央線に対する車両の横方向位置を特定する。
• 重心位置の時系列データを平滑化するために、固定遅れカルマンフィルタを適用し、ノイズ低減とトラッキングの安定性向上を図る。
• 車線逸脱イベントは、重心の横方向オフセットの時間的シフトに基づき分類される：平滑化されたオフセット信号に対するしきい値処理とピーク検出により、左/右の車線変更または侵入が検出される。
• ピークの振幅と持続時間に基づく意思決定論理を用いて、一時的な逸脱（侵入）と持続的な逸脱（車線変更）を区別する。
• 対称的逸脱の検出を強化し、ノイズに対する耐性を高めるために、平滑化されたオフセット信号にミラー関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 モバイルカメラから得られる低解像度でノイズの多い動画録画において、マスク-RCNNベースのセグメンテーションモデルが信頼性のある車線検出を達成できるか？
• RQ2 ノイズの多い視覚的条件下でも、重心トラッキングとカルマンフィルタリングが、車線逸脱イベント（特に侵入を含む）を効果的に検出し分類できるか？
• RQ3 本手法が、実世界の糖尿病を有するリスクの高いドライバーのデータセットにおいて、車線逸脱イベントをどの程度の感受性で検出できるか？
• RQ4 ノイズや透視歪み（例：チープ効果）が車線逸脱検出の性能に与える影響は何か？また、平滑化技術はこれらの問題を緩和できるか？
• RQ5 本システムは、車載ADASや臨床的モニタリングシステムへのリアルタイム展開にどの程度適合可能か？

主な発見

• マスク-RCNNモデルはテストデータセットで平均平均適合率（mAP）0.82を達成し、車線インスタンスセグメンテーションにおいて優れた性能を示した。
• 車線逸脱イベント全体の感受性は81.81%であった。これは、真陽性（TP）/（TP + FN）として計算され、危険な車線逸脱の検出が信頼性を持って実現されたことを示している。
• テストセットでは、3つのうち2つの車線侵入が正しく検出された。これは、特定のイベントタイプに対して中程度ながらも有望な性能を示している。
• モデルは、車線検出におけるオフセットノイズに対して非常に感受性が高く、ピーク検出とイベント分類の精度に悪影響を及えた。
• ミラー関数やカルマンフィルタリングを含む平滑化技術により、信号の安定性が向上したが、ノイズや透視歪みへの感受性を完全に解消することはできなかった。
• 凸包の重心トラッキングの使用により、車線中央に対する車両の横方向位置推定が安定的に行えるようになり、効果的な行動分類が可能になった。