[논문 리뷰] Driving Anomaly Detection Using Conditional Generative Adversarial Network

Yuning Qiu, Teruhisa Misu외 1명|arXiv (Cornell University)|2022. 03. 15.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 과거 관측치에서 미래의 CAN-Bus 및 신체 생리 신호를 예측하는 조건부 생성 적대적 네트워크(cGAN)를 사용한 비지도 주행 이상 탐지 방법을 제안한다. 이상도는 실제 신호와 예측된 신호 간 디스크림ิน레이터 출력의 차이에서 유도되며, 사전 정의된 규칙나 레이블이 없는 상태에서 위험하고 드문 사건들을 높은 정확도로 탐지한다.

ABSTRACT

Anomaly driving detection is an important problem in advanced driver assistance systems (ADAS). It is important to identify potential hazard scenarios as early as possible to avoid potential accidents. This study proposes an unsupervised method to quantify driving anomalies using a conditional generative adversarial network (GAN). The approach predicts upcoming driving scenarios by conditioning the models on the previously observed signals. The system uses the difference of the output from the discriminator between the predicted and actual signals as a metric to quantify the anomaly degree of a driving segment. We take a driver-centric approach, considering physiological signals from the driver and controller area network-Bus (CAN-Bus) signals from the vehicle. The approach is implemented with convolutional neural networks (CNNs) to extract discriminative feature representations, and with long short-term memory (LSTM) cells to capture temporal information. The study is implemented and evaluated with the driving anomaly dataset (DAD), which includes 250 hours of naturalistic recordings manually annotated with driving events. The experimental results reveal that recordings annotated with events that are likely to be anomalous, such as avoiding on-road pedestrians and traffic rule violations, have higher anomaly scores than recordings without any event annotation. The results are validated with perceptual evaluations, where annotators are asked to assess the risk and familiarity of the videos detected with high anomaly scores. The results indicate that the driving segments with higher anomaly scores are more risky and less regularly seen on the road than other driving segments, validating the proposed unsupervised approach.

연구 동기 및 목표

• 사고로 이어지기 전에 위험한 이탈을 조기에 탐지할 수 있는 비지도 이상 탐지 시스템을 개발하는 것.
• 오류 발생 후에만 반응하는 규칙 기반 또는 임계값 기반 시스템의 한계를 극복하는 것.
• 다중 모odal 데이터—CAN-Bus 신호 및 운전자 생리 신호(ECG, EDA, BR)—를 활용하여 포괄적인 이상 탐지 시스템을 구축하는 것.
• 주행 이상 데이터셋(DAD)의 정성 평가 및 수동 레이블링을 활용하여 모델의 효과성을 검증하는 것.

제안 방법

• 생성자 모델이 과거 관측 신호를 조건으로 하여 미래의 신호(CAN-Bus 및 생리 신호)를 예측하는 조건부 GAN 프레임워크를 사용한다.
• 원시 센서 신호에서 공간적 및 시간적 특징을 추출하기 위해 합성곱 신경망(CNNs)을 활용한다.
• 주행 시퀀스의 순차적 의존성과 시간 동적 특성을 모델링하기 위해 장기 기억 단기 기억(LSTM) 네트워크를 통합한다.
• 실제 신호와 생성된 미래 신호 간 디스크림ิน레이터 출력의 차이를 이상도로 계산하며, 이 값이 클수록 더 큰 이탈을 의미한다.
• 정상 주행 데이터만을 사용하여 엔드 투 엔드로 비지도 방식으로 모델을 훈련시킨다.
• 모델은 250시간의 자연주의 주행 데이터를 포함하고 있으며, 고위험 사건에 대한 수동 레이블링이 이루어진 DAD 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 사전 정의된 규칙나 레이블이 없는 조건부 GAN 프레임워크가 주행 이상을 효과적으로 탐지할 수 있는가?
• RQ2 기존 규칙 기반 시스템이 쉽게 포착하지 못하는 객관적으로 위험한 사건들은 얼마나 잘 탐지되는가?
• RQ3 CAN-Bus 및 생리 신호와 같은 다중 모달 입력이 단일 모달 입력에 비해 이상 탐지 성능을 얼마나 향상시키는가?
• RQ4 정성 평가에서 이상도가 높은 세그먼트는 무작위 세그먼트에 비해 위험감과 친숙함 측면에서 어떻게 다를까?

주요 결과

• 보행자 회피 및 교통 위반과 같은 고위험 사건이 레이블링된 주행 세그먼트는 레이블이 없는 세그먼트보다 일관되게 높은 이상도를 기록했다.
• CNN+LSTM 기반 cGAN 모델은 상위 100개 이상도가 높은 세그먼트 중 33%를 '위험' 또는 '매우 위험'으로 분류했으며, LSTM 전용 모델은 27.7%, CNN 전용 모델은 22.7%였다.
• CNN+LSTM 모델이 선별한 상위 100개 세그먼트 중 33%는 도로에서 '절대' 또는 '거의 절대' 발생하지 않는 것으로 평가되어 희귀하고 비정상적인 사건을 잘 탐지함을 시사한다.
• 정성 평가 결과, 이상도가 높은 세그먼트는 랜덤으로 선택된 세그먼트보다 유의미하게 더 높은 위험도(64.7%가 위험 또는 매우 위험으로 평가됨)와 낮은 친숙도를 보였다.
• CNN+LSTM 모델은 CNN 전용 및 LSTM 전용 모델 대비 고위험 및 희귀 주행 조건을 더 잘 식별하는 데 성공했다.
• 모델의 성능은 DAD 데이터셋에서 검증되었으며, 정상 주행 데이터와 다중 모달 신호만을 사용하는 비지도 이상 탐지의 가능성을 입증했다.