[論文レビュー] Keep Your AI-es on the Road: Tackling Distracted Driver Detection with Convolutional Neural Networks and Targeted Data Augmentation

Nikka Mofid, Jasmine Bayrooti+1 more|arXiv (Cornell University)|Jun 19, 2020

Face recognition and analysis被引用数 7

ひとこと要約

本論文では、ResNet-50と特化したデータ拡張技術（顔のぼかし、皮膚領域抽出、古典的拡張）を組み合わせた耐障害性の高い多クラスの運転中の注意散漫な運転者検出システムを提案する。ベースラインと比較してF1スコアが15%向上した。この手法により、顔の特徴や背景ノイズへの過学習を低減させつつ、運転者の姿勢に注目することで、モデルの汎化性能が向上する。

ABSTRACT

According to the World Health Organization, distracted driving is one of the leading cause of motor accidents and deaths in the world. In our study, we tackle the problem of distracted driving by aiming to build a robust multi-class classifier to detect and identify different forms of driver inattention using the State Farm Distracted Driving Dataset. We utilize combinations of pretrained image classification models, classical data augmentation, OpenCV based image preprocessing and skin segmentation augmentation approaches. Our best performing model combines several augmentation techniques, including skin segmentation, facial blurring, and classical augmentation techniques. This model achieves an approximately 15% increase in F1 score over the baseline, thus showing the promise in these techniques in enhancing the power of neural networks for the task of distracted driver detection.

研究の動機と目的

• 限定的なトレーニングデータと一貫したカメラの視点による過学習の問題に対処する。
• 特化した画像前処理およびデータ拡張を用いて、多様な運転者や視点に対してモデルの汎化性能を向上させる。
• 認知的要因を除き、視覚的および手作業的注意散漫（10の異なる運転行動カテゴリ）を含む多クラス分類器を訓練することで、注意散漫な運転行動を特定する。
• F1スコア、適合率、再現率を主な指標として用い、異なる拡張技術の影響を評価する。
• 顔の特徴に依存するのを最小限に抑え、運転者の姿勢に焦点を当てる耐障害性の高い分類器を開発する。

提案手法

• 画像分類のためのベースCNNアーキテクチャとして事前学習済みResNet-50を採用する。
• ランダム回転や明るさ調整などの古典的データ拡張技術を適用して、トレーニングデータの多様性を高める。
• OpenCVを用いた顔のぼかしを実装し、顔の特徴への過学習を低減させ、身体の姿勢に注目させる。
• 皮膚領域抽出画像を生成することで、運転者の身体のみを強調し、背景ノイズを低減させ、姿勢に注目させる。
• 顔のぼかし、皮膚領域抽出、古典的拡張の複数の拡張技術を統合したアンサンブル手法を採用し、特徴の学習と汎化性能を最大化する。
• 類似度マップを用いてモデルの注目領域を解釈し、顔や関係のない背景ではなく、腕や胸などの関連する身体部位に注目していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 異なるデータ拡張戦略が、運転中の注意散漫な運転者検出におけるCNNのF1スコアおよび汎化性能にどのように影響を与えるか？
• RQ2 顔のぼかしは、運転者の画像における顔の特徴への過学習を低減させることで、モデルの耐障害性を向上させるか？
• RQ3 皮膚領域抽出拡張は、運転者の姿勢に注目する能力を向上させるか、それともノイズを引き起こして性能を低下させるか？
• RQ4 複数の拡張技術を組み合わせた場合、モデルの性能および注目分布にどのような影響を与えるか？
• RQ5 類似度マップは、モデルが偶然的な画像パターンではなく、姿勢関連の特徴に注目していることをどの程度確認できるか？

主な発見

• すべての拡張技術を統合したアンサンブルが、F1スコア0.662を達成し、ベースラインと比較して約15%の向上を示した。
• 顔のぼかし単体でも、顔の特徴への過学習が低減され、類似度マップで腕や体幹への注目が増加していることから、モデル性能が向上した。
• 皮膚領域抽出拡張単体では性能が低下した。これは、モデルが黒く塗りつぶされた領域や誤って生成されたマスクを意味のある特徴として解釈し、過学習したためと推測される。
• すべての拡張手法を組み合わせた結果、運転者の姿勢に最も明確に注目し、背景や顔の詳細への感受性が低下したことが、類似度マップで可視化された。
• 最終的なモデルは、拡張によって有効なトレーニングデータセットのサイズを4倍に増やし、汎化性能と耐障害性の向上に寄与した。
• アブレーションスタディの結果、解釈可能性ツール（類似度マップ）を用いてガイドされた複数の拡張戦略の組み合わせが、個々の技術よりも効果的であることが判明した。