[논문 리뷰] Emergency Vehicles Audio Detection and Localization in Autonomous Driving

Hongyi Sun, Xinyi Liu외 3명|arXiv (Cornell University)|2021. 09. 30.

Speech and Audio Processing참고 문헌 18인용 수 12

한 줄 요약

이 논문은 자율주행 차량을 위한 저비용, 이마icro폰 오디오 시스템을 제안하며, CNN 기반 모델을 사용해 비상차량 경적의 존재를 동시에 탐지하고 방향 및 거리를 정밀하게 국정한다. 비상 대응이 필요한 10–50m 범위 내에서 99.16%의 리콜과 각도 및 거리의 중앙값 오차가 각각 9.64° 및 9.30m 이내로 나타나, 트랜스포머 및 리포머 기반 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Emergency vehicles in service have right-of-way over all other vehicles. Hence, all other vehicles are supposed to take proper actions to yield emergency vehicles with active sirens. As this task requires the cooperation between ears and eyes for human drivers, it also needs audio detection as a supplement to vision-based algorithms for fully autonomous driving vehicles. In urban driving scenarios, we need to know both the existence of emergency vehicles and their relative positions to us to decide the proper actions. We present a novel system from collecting the real-world siren data to the deployment of models using only two cost-efficient microphones. We are able to achieve promising performance for each task separately, especially within the crucial 10m to 50m distance range to react (the size of our ego vehicle is around 5m in length and 2m in width). The recall rate to determine the existence of sirens is 99.16% , the median and mean angle absolute error is 9.64° and 19.18° respectively, and the median and mean distance absolute error of 9.30m and 10.58m respectively within that range. We also benchmark various machine learning approaches that can determine the siren existence and sound source localization which includes direction and distance simultaneously within 50ms of latency.

연구 동기 및 목표

• 자율주행을 위한 저비용이고 내구성이 뛰어난 오디오 기반 비상차량 탐지 및 정위치 시스템을 개발하기 위해.
• 시야가 차단되는 도시 환경에서 시각 기반 인식의 한계를 해결하기 위해.
• 자율주행 차량이 경적 소리를 정확하고 낮은 지연 시간으로 탐지하고 소스의 방향과 거리를 정밀하게 추정할 수 있도록 하기 위해.
• 경적 존재 탐지, 방향 추정, 거리 회귀를 동시에 수행하는 통합 딥러닝 모델을 훈련하기 위해.
• 특히 비상 대응이 필요한 10–50m 반경에서의 다양한 거리 간 성능을 평가하기 위해.

제안 방법

• 시스템은 실제 도시 주행 데이터에서 얻은 원시 오디오 웨이브폼과 수작업으로 생성한 특징(예: 스펙트럼 특징)을 촬영하기 위해 저비용 마이크 두 대를 사용한다.
• 공통된 CNN 기반 백본이 원시 웨이브폼과 수작업 특징을 병렬 처리한 후 융합하여 후속 작업을 수행한다.
• 공통 백본에 세 개의 별도된 완전 연결 헤드 레이어를 부착하여 경적 존재 분류, 방향 추정(각도), 거리 회귀를 수행한다.
• 경적 탐지에 대한 교차 엔트로피와 정위치 작업에 대한 평균 절대 오차를 조합한 통합 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련한다.
• 훈련 데이터에는 실제 자율주행 중 수집한 264,506개의 경적 긍정 샘플이 포함되어 있으며, 최대 100m까지의 거리를 커버한다.
• 모델 성능 평가에 사용된 지표로는 리콜, 각도 및 거리의 평균 절대 오차(MAE), 50ms 이내의 지연 시간이 포함된다.

실험 결과

연구 질문

• RQ1 저비용의 이마이크 시스템이 실제 도시 주행 조건에서 높은 정확도로 비상차량 경적 탐지 및 정위치를 수행할 수 있는가?
• RQ2 비상차량으로부터 거리가 증가함에 따라 경적 탐지 및 정위치 성능은 어떻게 변화하는가?
• RQ3 실제 환경 제약 조건 하에서 CNN, 트랜스포머, 리포머 중 어느 딥러닝 아키텍처가 경적 탐지 및 정위치에 가장 우수한 성능을 보이는가?
• RQ4 장거리에서 도플러 효과 및 신호 대 잡음비 감소가 모델 정확도에 어느 정도 영향을 미치는가?
• RQ5 제한된 실제 데이터로 훈련된 통합 모델이 경적 존재, 방향, 거리 추정 전반에 걸쳐 우수한 성능을 유지도할 수 있는가?

주요 결과

• CNN 기반 모델은 10–50m 범위 내에서 경적 존재 탐지에 대해 99.16%의 리콜을 달성했으며, 중앙값 각도 절대 오차는 9.64°, 중앙값 거리 절대 오차는 9.30m였다.
• 50m 거리에서도 리콜이 98% 이상 유지되며, 100m에서는 95.21%로 약간 감소하여 비상 대응이 필요한 핵심 반경 내에서 뛰어난 성능을 보였다.
• 10–30m 거리에서 각도 MAE는 가장 낮은 7°를 기록했으며, 90–100m에서는 59.14°로 증가하여 장거리에서 방향 추정의 어려움이 드러났다.
• 70m 이상부터는 거리 MAE가 점진적으로 증가하여 90–100m에서는 33.98m까지 상승했으며, 이는 신호 대 잡음비 및 마이크 품질로 인한 성능 저하를 시사한다.
• CNN 모델은 트랜스포머 및 리포머 모델을 모두 앞서며, 테스트 세트에서 89.4%의 정확도, 36.61°의 각도 MAE, 14.18m의 거리 MAE를 기록했다.
• 시스템은 50ms 이내의 지연 시간을 확보하여 자율주행 시스템에 실시간 구동이 가능했다.