[논문 리뷰] Improving the Environmental Perception of Autonomous Vehicles using Deep Learning-based Audio Classification

Finley Walden, Sagar Dasgupta외 2명|arXiv (Cornell University)|2022. 09. 09.

Noise Effects and Management인용 수 6

한 줄 요약

이 논문은 자율주행차(AV)의 환경 인식 능력을 향상시키기 위해 깊이 학습 기반의 음성 분류 프레임워크를 제안한다. 이 프레임워크는 합성곱 신경망(CNN)을 사용하여 경찰차 사이렌, 총성, 자동차 경적과 같은 도시 내 핵심 음향을 탐지한다. UrbanSound8k 데이터셋으로 훈련된 모델은 AV와 관련된 음성 클래스에서 97.82%의 정확도를 기록하며, 기존 방법에 비해 시야 외 장애물로 인한 위험 탐지 성능이 뛰어나다.

ABSTRACT

Sense of hearing is crucial for autonomous vehicles (AVs) to better perceive its surrounding environment. Although visual sensors of an AV, such as camera, lidar, and radar, help to see its surrounding environment, an AV cannot see beyond those sensors line of sight. On the other hand, an AV s sense of hearing cannot be obstructed by line of sight. For example, an AV can identify an emergency vehicle s siren through audio classification even though the emergency vehicle is not within the line of sight of the AV. Thus, auditory perception is complementary to the camera, lidar, and radar-based perception systems. This paper presents a deep learning-based robust audio classification framework aiming to achieve improved environmental perception for AVs. The presented framework leverages a deep Convolution Neural Network (CNN) to classify different audio classes. UrbanSound8k, an urban environment dataset, is used to train and test the developed framework. Seven audio classes i.e., air conditioner, car horn, children playing, dog bark, engine idling, gunshot, and siren, are identified from the UrbanSound8k dataset because of their relevancy related to AVs. Our framework can classify different audio classes with 97.82% accuracy. Moreover, the audio classification accuracies with all ten classes are presented, which proves that our framework performed better in the case of AV-related sounds compared to the existing audio classification frameworks.

연구 동기 및 목표

• 카메라와 라이다와 같은 시각 센서와의 보완으로 청각 감지 기능을 통합함으로써 자율주행차의 환경 인식 능력을 향상시키는 것.
• 실제 환경 조건에서 도시 내 핵심 음향을 분류할 수 있는 견고한 깊이 학습 프레임워크를 개발하는 것.
• 자율주행차와 관련된 음성 클래스인 사이렌, 총성, 자동차 경적과 같은 음향의 분류 성능을 평가하는 것.
• 청각 인식이 라인 오브 사이트 외부의 위험을 탐지할 수 있음을 입증하여 자율주행차의 안전성을 향상시키는 것.
• 기존의 음성 분류 시스템과 비교하여 제안된 프레임워크의 정확도를 AV 관련 음성 클래스에서 평가하는 것.

제안 방법

• 원시 음성 신호에서 특징을 추출하고 분류하기 위해 깊이 학습 기반의 합성곱 신경망(CNN)을 사용한다.
• 훈련 및 테스트에 UrbanSound8k 데이터셋을 사용하며, 공기 조절기, 자동차 경적, 어린이 놀이, 개 짖는 소리, 엔진 정지 상태, 총성, 사이렌의 일곱 가지 AV 관련 음성 클래스에 집중한다.
• 딥 러닝에 적합한 스펙트럼 특징을 추출하기 위해 음성 데이터를 멜 주파수 체르스탈 계수(MFCCs)를 사용해 전처리한다.
• 교차 엔트로피 손실과 확률적 경사 하강법 최적화를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 모든 클래스에서 정확도, 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용해 성능을 평가한다.
• 일반화 능력과 견고성을 평가하기 위해 프레임워크를 UrbanSound8k의 열두 가지 클래스 전부에 대해 테스트한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 음성 분류 시스템은 시각 센서의 한계를 초월하여 자율주행차의 환경 인식 능력을 향상시킬 수 있는가?
• RQ2 CNN은 실제 환경 조건에서 사이렌과 총성과 같은 AV 관련 도시 음향을 얼마나 정확하게 분류할 수 있는가?
• RQ3 제안된 프레임워크는 기존의 음성 분류 모델에 비해 비시야 영역의 위험을 탐지하는 데서 뛰어난 성능을 보일 수 있는가?
• RQ4 시각 센서가 차단되었을 때 청각 인식이 비상 차량 탐지에 어떤 영향을 미치는가?
• RQ5 모델은 AV 전용 음성 클래스뿐 아니라 일반적인 도시 음성 클래스에서도 어떤 성능을 보이는가?

주요 결과

• 제안된 깊이 학습 프레임워크는 UrbanSound8k 데이터셋의 일곱 가지 AV 관련 음성 클래스에서 97.82%의 분류 정확도를 달성한다.
• 기존의 음성 분류 프레임워크에 비해 사이렌과 총성과 같은 AV 핵심 음향에서 뛰어난 성능을 보인다.
• 프레임워크는 UrbanSound8k 데이터셋의 열두 가지 클래스 전부에서 높은 정확도를 유지하여 강력한 일반화 능력을 보여준다.
• 청각 기반 탐지 기능은 자율주행차의 시야 외부에 있는 비상 차량(예: 구급차)을 식별할 수 있도록 한다.
• CNN 기반 접근법은 도시 음향 환경에서의 스펙트럼 및 시간 패턴을 효과적으로 포착하여 실제 소음 환경에서도 견고한 분류 성능을 보인다.
• 결과는 청각 인식이 특히 가림되거나 복잡한 도시 환경에서 자율주행차의 환경 인식 능력을 크게 향상시킨다는 것을 확인한다.