[論文レビュー] Driving Anomaly Detection Using Conditional Generative Adversarial Network

Yuning Qiu, Teruhisa Misu+1 more|arXiv (Cornell University)|Mar 15, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、過去の観測に基づいて将来のCAN-Bus信号および生理的信号を予測する条件付き生成対抗ネットワーク（cGAN）を用いた教師なしドライブ異常検出手法を提案する。異常スコアは、生成された信号と実際の信号の判別器出力の差異から導出され、事前に定義されたルールやラベル付き異常を必要とせず、危険で低頻度のイベントを高精度に検出する。

ABSTRACT

Anomaly driving detection is an important problem in advanced driver assistance systems (ADAS). It is important to identify potential hazard scenarios as early as possible to avoid potential accidents. This study proposes an unsupervised method to quantify driving anomalies using a conditional generative adversarial network (GAN). The approach predicts upcoming driving scenarios by conditioning the models on the previously observed signals. The system uses the difference of the output from the discriminator between the predicted and actual signals as a metric to quantify the anomaly degree of a driving segment. We take a driver-centric approach, considering physiological signals from the driver and controller area network-Bus (CAN-Bus) signals from the vehicle. The approach is implemented with convolutional neural networks (CNNs) to extract discriminative feature representations, and with long short-term memory (LSTM) cells to capture temporal information. The study is implemented and evaluated with the driving anomaly dataset (DAD), which includes 250 hours of naturalistic recordings manually annotated with driving events. The experimental results reveal that recordings annotated with events that are likely to be anomalous, such as avoiding on-road pedestrians and traffic rule violations, have higher anomaly scores than recordings without any event annotation. The results are validated with perceptual evaluations, where annotators are asked to assess the risk and familiarity of the videos detected with high anomaly scores. The results indicate that the driving segments with higher anomaly scores are more risky and less regularly seen on the road than other driving segments, validating the proposed unsupervised approach.

研究の動機と目的

• 事故に至る前の危険な逸脱を特定できる教師なしの異常検出システムの開発。
• 誤動作発生後に反応するのみのルールベースまたはしきい値ベースのシステムの限界を克服すること。
• ドライブの包括的異常検出のため、マルチモーダルデータ（CAN-Bus信号およびドライバーの生理的信号：ECG、EDA、BR）を活用すること。
• ドライブ異常データセット（DAD）からの知覚的評価および手動アノテーションを用いて、モデルの有効性を検証すること。

提案手法

• 生成器が過去の観測信号を条件として、将来の信号（CAN-Busおよび生理的信号）を予測する条件付きGANフレームワークを採用。
• 畳み込みニューラルネットワーク（CNN）を用いて、生のセンサ信号から空間的および時間的特徴を抽出。
• 長短期記憶（LSTM）ネットワークを統合し、ドライブシーケンス内の逐次的依存関係および時間的ダイナミクスをモデル化。
• 実際の信号と生成された信号の判別器出力の差異を異常スコアとして算出し、値が大きいほど逸脱度が大きいことを示す。
• 正常ドライブデータのみを用いて、教師なしでエンドツーエンドにモデルを学習。
• モデルはDADデータセット上で評価され、250時間にわたる自然主義的ドライブ記録に加え、危険なイベントの手動アノテーションが含まれている。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたルールやラベル付き異常を一切使用せず、条件付きGANフレームワークがドライブ異常を効果的に検出できるか。
• RQ2 従来のルールベースシステムでは容易に捉えきれないが、客観的に危険なイベントは、本モデルでどの程度検出可能か。
• RQ3 CAN-Bus信号と生理的信号のマルチモーダル入力は、単一モーダル入力と比較して、異常検出性能をどの程度向上させるか。
• RQ4 知覚的評価において、高異常スコアセグメントはランダムセグメントと比較して、リスクの認識度およびなじみの度合いにおいてどのように異なるか。

主な発見

• 歩行者回避や交通違反などの高リスクイベントがアノテートされたドライブセグメントは、アノテートされていないセグメントと比較して一貫して高い異常スコアを示した。
• CNN+LSTMベースのcGANモデルは、上位100件の高異常スコアセグメントのうち33％を「危険」または「非常に危険」と分類したが、LSTMのみのモデルでは27.7％、CNNのみのモデルでは22.7％にとどまった。
• CNN+LSTMモデルが選択した上位100セグメントのうち33％は、道路で「まったく発生しない」または「ほとんど発生しない」と評価されており、希少で異常なイベントの強力な検出を示している。
• 知覚的評価では、高異常スコアセグメントがランダムに選択されたセグメントと比較して、顕著にリスクが高い（64.7％が「危険」または「非常に危険」と評価）と認識され、なじみが薄いと感じられた。
• CNN+LSTMモデルは、CNNのみおよびLSTMのみの変種と比較して、危険で希少なドライブ状況を識別する能力で優れた性能を示した。
• モデルの性能はDADデータセット上で検証され、正常ドライブデータとマルチモーダル信号のみを用いても、教師なし異常検出が実現可能であることを示した。