[논문 리뷰] Modified Supervised Contrastive Learning for Detecting Anomalous Driving Behaviours.

Shehroz S. Khan, Ziting Shen외 3명|arXiv (Cornell University)|2021. 09. 09.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 시각적 표현 학습을 향상시켜 기록된 이면 및 미기록된 비정상 주행 행동을 모두 탐지할 수 있도록 수정된 지도형 대조 학습 프레임워크를 제안한다. 추론 중에 프로젝션 헤드를 유지하고 대조 손실 내 음성 쌍을 재가중화함으로써, 이 방법은 최신 기술 수준의 성능을 달성하였으며, 783분 분량의 주행 데이터에서 상부 및 전면 카메라로부터의 융합된 깊이 및 적외선 모odalities를 사용하여 최고의 AUC ROC는 0.9738, AUC PR는 0.9772를 기록하였다.

ABSTRACT

Detecting distracted driving behaviours is important to reduce millions of deaths and injuries occurring worldwide. Distracted or anomalous driving behaviours are deviations from the 'normal' driving that need to be identified correctly to alert the driver. However, these driving behaviours do not comprise of one specific type of driving style and their distribution can be different during training and testing phases of a classifier. We formulate this problem as a supervised contrastive learning approach to learn a visual representation to detect normal, and seen and unseen anomalous driving behaviours. We made a change to the standard contrastive loss function to adjust the similarity of negative pairs to aid the optimization. Normally, the (self) supervised contrastive framework contains an encoder followed by a projection head, which is omitted during testing phase as the encoding layers are considered to contain general visual representative information. However, we assert that for supervised contrastive learning task, including projection head will be beneficial. We showed our results on a Driver Anomaly Detection dataset that contains 783 minutes of video recordings of normal and anomalous driving behaviours of 31 drivers from various from top and front cameras (both depth and infrared). We also performed an extra step of fine tuning the labels in this dataset. Out of 9 video modalities combinations, our modified contrastive approach improved the ROC AUC on 7 in comparison to the baseline models (from 3.12% to 8.91% for different modalities); the remaining two models also had manual labelling. We performed statistical tests that showed evidence that our modifications perform better than the baseline contrastive models. Finally, the results showed that the fusion of depth and infrared modalities from top and front view achieved the best AUC ROC of 0.9738 and AUC PR of 0.9772.

연구 동기 및 목표

• 정상 주행 패턴에서 벗어나는 다양한 비정상 주행 행동을 탐지하는 데 도전하는 것.
• 비정상 행동에 대한 훈련 및 테스트 데이터 간의 분포 이탈 문제를 해결하여 기존의 지도형 모델의 한계를 극복하는 것.
• 동적 음성 쌍 가중치를 적용한 대조 학습을 지도형 설정에 적응시켜 이상 탐지에 적합한 시각적 표현 학습을 향상시키는 것.
• 표준 관행과는 반대로, 지도형 대조 학습에서 추론 시 프로젝션 헤드 유지가 이상 탐지에 유의미한 기여를 한다는 점을 입증하는 것.
• 다양한 비디오 모달리티 조합에 걸쳐 강건한 성능을 달성하는 것, 특히 미기록된 비정상 행동에 대해서도 성능을 확보하는 것.

제안 방법

• 최적화 안정성과 표현 학습을 향상시키기 위해 음성 쌍의 유사도를 조정하는 수정된 대조 손실 함수를 제안한다.
• 추론 시 프로젝션 헤드를 유지하며, 이는 지도형 대조 학습에서 이상 탐지에 있어 의미 있는 특징 구분에 기여한다고 주장한다.
• 모델 일반화 및 애너테이션 일관성을 향상시키기 위해 드라이버 이상 탐지 데이터셋의 레이블을 피지컬 튜닝한다.
• 전면 및 상부 카메라에서 온 다중 모달리티 입력(깊이, 적외선, RGB)에 대해 인코더와 프로젝션 헤드를 갖춘 모델을 훈련시킨다.
• 상부 및 전면 카메라의 깊이 및 적외선 모달리티를 조기 융합하여 특징 구분 능력을 향상시킨다.
• 정상 행동과 기록된 이면 및 기록되지 않은 비정상 행동을 분리할 수 있는 표현을 대조 학습을 통해 학습한다.

실험 결과

연구 질문

• RQ1 기존의 대조 학습과 비교해 볼 때, 수정된 지도형 대조 학습 접근법이 기록된 이면 및 기록되지 않은 비정상 주행 행동 탐지에 있어 성능 향상을 이룰 수 있는가?
• RQ2 추론 시 프로젝션 헤드를 유지하는 것이 주행 행동 인식의 이상 탐지 성능 향상에 기여하는가?
• RQ3 상부 및 전면 카메라에서의 깊이 및 적외선 모달리티 융합이 탐지 성능에 어떤 영향을 미치는가?
• RQ4 대조 손실 내 음성 쌍의 재가중화가 모델 최적화 및 일반화에 얼마나 기여하는가?
• RQ5 데이터셋 레이블의 피지컬 튜닝이 이상 탐지 작업의 모델 성능 향상에 측정 가능한 기여를 할 수 있는가?

주요 결과

• 수정된 대조 학습 접근법은 다양한 비디오 모달리티 조합에서 기준 모델 대비 ROC AUC를 3.12%에서 8.91%까지 향상시켰다.
• 상부 및 전면 뷰에서의 깊이 및 적외선 모달리티 융합이 가장 높은 성능을 기록하였으며, AUC ROC는 0.9738, AUC PR은 0.9772를 달성하였다.
• 통계적 검정을 통해 제안된 수정 사항이 다양한 구성에서 기준 대조 모델보다 유의미하게 뛰어난 성능을 보였음을 확인하였다.
• 9개의 비디오 모달리티 조합 중 7개에서 성능 향상을 달성하였으며, 나머지 2개 모델 역시 수동 레이블 보정 덕분에 유의미한 이점을 얻었다.
• 추론 시 프로젝션 헤드를 포함하는 것이 유익하다는 것이 입증되었으며, 이는 기존의 훈련 후 제거하는 관행과는 정반대되는 결과이다.
• 모델는 기록되지 않은 비정상 행동으로의 일반화 능력이 뛰어나 실제 운영 환경에서의 강건성을 보였다.