[論文レビュー] DriftNet: Aggressive Driving Behavior Classification using 3D EfficientNet Architecture

Alam Noor, Bilel Benjdira+2 more|arXiv (Cornell University)|Apr 18, 2020

Anomaly Detection Techniques and Applications参考文献 15被引用数 5

ひとこと要約

本稿では、動画シーケンスにおける攻撃的ドライブ行動（車のスライド）を検出するための、3D EfficientNetベースの深層学習モデル、DriftNetを提案する。EfficientNetアーキテクチャを3D動画入力に適応させ、新たに収集したサウジアラビアのドリフト動画データセットを用いた転移学習により、パrameter数わずか469万で92.5%の検証精度を達成し、C3D、ConvLSTM、DenseNetを上回る精度とパrameter効率を実現した。

ABSTRACT

Aggressive driving (i.e., car drifting) is a dangerous behavior that puts human safety and life into a significant risk. This behavior is considered as an anomaly concerning the regular traffic in public transportation roads. Recent techniques in deep learning proposed new approaches for anomaly detection in different contexts such as pedestrian monitoring, street fighting, and threat detection. In this paper, we propose a new anomaly detection framework applied to the detection of aggressive driving behavior. Our contribution consists in the development of a 3D neural network architecture, based on the state-of-the-art EfficientNet 2D image classifier, for the aggressive driving detection in videos. We propose an EfficientNet3D CNN feature extractor for video analysis, and we compare it with existing feature extractors. We also created a dataset of car drifting in Saudi Arabian context https://www.youtube.com/watch?v=vLzgye1-d1k . To the best of our knowledge, this is the first work that addresses the problem of aggressive driving behavior using deep learning.

研究の動機と目的

• 実世界の動画データにおける、車のスライドのような攻撃的ドライブ行動を検出する深層学習ベースのソリューションの不足に対処すること。
• 高い効率性と少ないパrameter数を実現した、動画ベースの異常検出に最適化された3D畳み込みニューラルネットワークアーキテクチャの開発。
• 今後の研究を支援するため、サウジアラビアの道路から収集した車のスライド動画を含む、新規のオープンソースデータセットの作成と公開。
• 3D EfficientNetフレームワークにおける転移学習とコン pound スケーリングを活用し、C3D、ConvLSTM、DenseNetなどの既存モデルを上回る検出性能の向上。
• 都市部の交通監視アプリケーションにおける、リアルタイムかつリソース効率の良い攻撃的ドライブ検出システムの実装を可能にすること。

提案手法

• 著者らは、2D EfficientNetバックボーンを時間的動画クリップを入力テンソル（N × C × T × H × W）として処理できるように拡張することで、3D EfficientNet-B0アーキテクチャ（EfficientNet3D-B0）を設計した。
• モデルは、ImageNetで事前学習された重みを初期値として使用し、カスタムのドリフト動画データセットで微調整する転移学習を採用した。
• 入力動画フレームは112×112ピクセルにリサイズされ、32フレームのシーケンスとして抽出され、時間的モデリング用の3D入力ボリュームが形成された。
• 一般化性能の向上と過学習の低減を目的として、水平反転、照明調整、クロッピング、スライcing、ソルトアンドペッパー雑音などのデータ拡張技術が適用された。
• 最適化には、モーメンタム0.5および重み減衰1e-7を用いた確率的勾配降下法（SGD）が使用され、過学習を防ぐために早期停止が導入された。
• モデルは、NVIDIA RTX 2070 GPUを用いて、バッチサイズ32で、80/20のトレイン/テスト分割を用いてPyTorchで訓練された。

実験結果

リサーチクエスチョン

• RQ1 EfficientNetアーキテクチャの3D拡張は、高い精度と低い計算コストを実現しながら、動画シーケンスにおける車のスライド検出に有効に機能するか？
• RQ2 C3D、ConvLSTM、DenseNetといった既存の3D CNNと比較して、提案されたDriftNetモデルの分類精度とパrameter効率はどのように異なるか？
• RQ3 ImageNet事前学習からの転移学習は、限られたカスタムドリフト動画データセットにおいて、性能をどの程度向上させるか？
• RQ4 EfficientNetのコンパoundスケーリングアプローチは、特にレアな行動（例：車のスライド）に対して、3D動画アクション認識タスクにうまく一般化するか？
• RQ5 軽量な3D CNNは、リソース制限のあるデプロイメントプラットフォームでも高い検出性能を達成できるか？

主な発見

• DriftNetは、カスタムドリフト動画データセットにおいて92.5%の検証精度を達成し、C3D、ConvLSTM、DenseNetを上回る分類性能を示した。
• 提案されたEfficientNet3D-B0モデルは、93.75%のトレーニング精度を達成しており、トレーニングセットにおける強力な学習能力を示した。
• わずか469万パラメータでしかなかったにもかかわらず、他の比較モデルと比較して優れたパrameter効率を示した。
• より高いスケーリングファクター（B7まで）を用いても性能向上が見られなかったため、この特定のデータセットおよびタスクではB0が最適であると示唆された。
• データ拡張と早期停止が、トレーニングと検証精度の差が小さいことからも明らかであり、過学習の効果的抑制に寄与した。
• 著者らは、サウジアラビアの道路から収集した100本のドリフト動画と100本の通常走行動画を含む新規オープンソースデータセットを成功裏に収集・公開し、今後の攻撃的ドライブ検出分野の研究に貢献した。