[論文レビュー] Modified Supervised Contrastive Learning for Detecting Anomalous Driving Behaviours.

Shehroz S. Khan, Ziting Shen+3 more|arXiv (Cornell University)|Sep 9, 2021

Anomaly Detection Techniques and Applications参考文献 25被引用数 4

ひとこと要約

本論文は、見たことのあるおよび見過ごされた異常なドライブ行動を検出するための視覚的表現学習を向上させる、修正された教師付き対照的学習フレームワークを提案する。推論時にプロジェクションヘッドを保持し、対照的損失内のネガティブペアを再重み付けすることで、最先端の性能を達成した。783分のドライブデータセットを用い、上部および前面カメラからの融合された深度および赤外モダリティを用いて、AUC ROCが0.9738、AUC PRが0.9772のピーク性能を達成した。

ABSTRACT

Detecting distracted driving behaviours is important to reduce millions of deaths and injuries occurring worldwide. Distracted or anomalous driving behaviours are deviations from the 'normal' driving that need to be identified correctly to alert the driver. However, these driving behaviours do not comprise of one specific type of driving style and their distribution can be different during training and testing phases of a classifier. We formulate this problem as a supervised contrastive learning approach to learn a visual representation to detect normal, and seen and unseen anomalous driving behaviours. We made a change to the standard contrastive loss function to adjust the similarity of negative pairs to aid the optimization. Normally, the (self) supervised contrastive framework contains an encoder followed by a projection head, which is omitted during testing phase as the encoding layers are considered to contain general visual representative information. However, we assert that for supervised contrastive learning task, including projection head will be beneficial. We showed our results on a Driver Anomaly Detection dataset that contains 783 minutes of video recordings of normal and anomalous driving behaviours of 31 drivers from various from top and front cameras (both depth and infrared). We also performed an extra step of fine tuning the labels in this dataset. Out of 9 video modalities combinations, our modified contrastive approach improved the ROC AUC on 7 in comparison to the baseline models (from 3.12% to 8.91% for different modalities); the remaining two models also had manual labelling. We performed statistical tests that showed evidence that our modifications perform better than the baseline contrastive models. Finally, the results showed that the fusion of depth and infrared modalities from top and front view achieved the best AUC ROC of 0.9738 and AUC PR of 0.9772.

研究の動機と目的

• 通常のドライブパターンから逸脱する多様で未確認の異常ドライブ行動を検出する課題に対処すること。
• 従来の教師ありモデルが制限を受ける、異常行動のトレーニングデータとテストデータの間の分布シフトを克服すること。
• 動的ネガティブペア重み付けを伴う対照的学習を教師あり設定に適応させることで、異常検出のための視覚的表現学習を向上させること。
• 教師付き対照的学習において推論時にプロジェクションヘッドを保持することの利点を示すこと、これは標準的な実装とは対照的である。
• 複数の動画モダリティの組み合わせにおいて、強力な性能を発揮すること、未確認の異常行動に対しても有効であること。

提案手法

• 最適化の安定性と表現学習を向上させるために、ネガティブペアの類似度を調整する修正された対照的損失関数を提案する。
• 推論時にプロジェクションヘッドを保持することを主張し、教師付き対照的学習における異常検出のための有意義な特徴識別に寄与すると考える。
• モデルの汎化性を向上させるために、ドライバー異常検出データセットのラベルを微調整する。
• 前面および上部カメラからのマルチモーダル入力（深度、赤外、RGB）を用い、エンコーダーとプロジェクションヘッドを備えたモデルを訓練する。
• 上部および前面カメラの両方からの深度および赤外モダリティを早期融合することで、識別性の高い特徴学習を強化する。
• 対照的学習を用いて、通常の行動と、見たことのあるおよび見過ごされた異常行動を分離する表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的な対照的学習と比較して、修正された教師付き対照的学習アプローチは、見たことのあるおよび見過ごされた異常ドライブ行動の検出を改善できるか？
• RQ2 推論時にプロジェクションヘッドを保持することは、ドライブ行動認識における異常検出の性能を向上させるか？
• RQ3 上部および前面カメラからの深度および赤外モダリティの融合は、検出性能にどのような影響を与えるか？
• RQ4 対照的損失内のネガティブペアの再重み付けは、モデルの最適化および一般化をどの程度向上させるか？
• RQ5 データセットラベルの微調整は、異常検出タスクにおけるモデル性能の測定可能な向上をもたらすか？

主な発見

• 修正された対照的アプローチにより、異なる動画モダリティの組み合わせにおいて、ベースラインモデルと比較してAUC ROCが3.12%から8.91%まで向上した。
• 上部および前面ビューからの深度および赤外モダリティの融合が、最高の性能を達成し、AUC ROCが0.9738、AUC PRが0.9772を記録した。
• 統計的検定により、提案手法の修正が、複数の構成においてベースライン対照的モデルを顕著に上回ることが確認された。
• 9つの動画モダリティの組み合わせのうち7つで、モデル性能が向上した。残りの2つのモデルについても、手動によるラベル微調整のおかげで利益を享受した。
• 推論時にプロジェクションヘッドを含めることの利点が示され、従来のトレーニング後には破棄するとされる慣例に反する結果となった。
• モデルは未確認の異常行動に対しても強力な一般化性能を示し、実世界の展開環境においても耐障害性があることが示された。