[논문 리뷰] Real-Time Sound Event Localization and Detection: Deployment Challenges on Edge Devices

Jun Wei Yeow, Ee-Leng Tan외 3명|arXiv (Cornell University)|2024. 09. 18.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 엣지 디바이스에서 실시간 사운드 이벤트 현장화 및 탐지(SELD)를 조사하며, 특징 추출과 저지연 추론이 성능과 효율성에 상당한 영향을 미친다는 것을 밝혀냈다. 라즈베리 파이 3를 사용하여 멜GCC와 SALSA-Mel 특징은 실시간 윈도우 지속 시간의 최대 43.4%에 이르는 높은 계산 부하를 유발하는 것으로 확인되었고, 반면 SALSA-Lite는 유사한 성능을 유지하면서 더 빠른 추론을 가능하게 하여 실시간 SELD 시스템에서 최적화된 특징 설계의 필요성을 강조한다.

ABSTRACT

Sound event localization and detection (SELD) is critical for various real-world applications, including smart monitoring and Internet of Things (IoT) systems. Although deep neural networks (DNNs) represent the state-of-the-art approach for SELD, their significant computational complexity and model sizes present challenges for deployment on resource-constrained edge devices, especially under real-time conditions. Despite the growing need for real-time SELD, research in this area remains limited. In this paper, we investigate the unique challenges of deploying SELD systems for real-world, real-time applications by performing extensive experiments on a commercially available Raspberry Pi 3 edge device. Our findings reveal two critical, often overlooked considerations: the high computational cost of feature extraction and the performance degradation associated with low-latency, real-time inference. This paper provides valuable insights and considerations for future work toward developing more efficient and robust real-time SELD systems

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에 실시간 사운드 이벤트 현장화 및 탐지(SELD) 시스템을 구현할 때 발생하는 주요 과제를 규명하고 분석하는 것.
• 실시간 환경에서 계산 비용, 추론 지연, SELD 성능 간의 상호 상충 관계를 평가하는 것.
• 다양한 입력 특징과 딥 뉴럴 네트워크 아키텍처가 실시간 추론 효율성에 미치는 영향을 조사하는 것.
• 실세계의 IoT 및 웨어러블 응용 프로그램에 적합한 효율적이고 저지연의 SELD 시스템 설계를 위한 실용적 통찰을 제공하는 것.

제안 방법

• ONNX를 사용하여 추론 실행을 위해 라즈베리 파이 3에 여러 SELD 모델(예: SELDNet 및 ResNet-18)을 구동시켰다.
• 가변적인 오디오 기록 윈도우 $T_r$, 처리 윈도우 $T_w$, 그리고 $n$개의 연속된 오디오 블록을 설정한 다중 스레드 기반 실시간 추론 파이프라인을 구현했다.
• 시스템 반응성을 평가하기 위해 고정된 $T_r = 1$ s, $n = 2$, $T_w = 2$ s 조건 하에 1000회 반복 측정을 통해 처리 지연을 측정했다.
• 특징 추출 방법의 계산 복잡도를 분석하였으며, 멜 스펙트로그램($O(MF)$), SALSA-Lite 내의 NIPD($O(MF)$), 그리고 GCC-PHAT($O(M^2F)$)를 포함한다.
• MelGCC, SALSA-Lite, SALSA-Mel 등의 특징 세트를 비교하여 MAC 연산 수, 파라미터 수, 처리 지연에 미치는 영향을 평가했다.
• 짧아진 $T_w$ 조건 하에서의 성능 저하를 분석하고, 시간적 맥락과 지연 간의 상충 관계를 조사했다.

실험 결과

연구 질문

• RQ1 엣지 디바이스에서 실시간 SELD 추론의 주요 계산 병목 현상은 무엇인가?
• RQ2 입력 윈도우 지속 시간($T_w$)을 줄일 경우 SELD 성능과 지연에 어떤 영향을 미치는가?
• RQ3 실시간 SELD 시스템에서 특징 추출이 전체 처리 지연에 얼마나 기여하는가?
• RQ4 SALSA-Like와 같은 계산 효율성이 뛰어난 특징은 더 복잡한 특징에 비해 지연을 줄이면서도 높은 SELD 성능을 유지할 수 있는가?
• RQ5 실시간 엣지 배포 환경에서 모델 복잡도, 추론 지연, 탐지 정확도 간의 상충 관계는 어떠한가?

주요 결과

• 특징 추출은 총 $T_r = 1$ s 윈도우 지속 시간의 최대 43.4%를 차지하여 실시간 SELD에서 주요 계산 병목 현상이 되었다.
• 입력 윈도우 $T_w$를 4초에서 2초로 줄였을 때 SELD 성능이 약 10% 감소하여 지연과 정확도 사이에 뚜렷한 상충 관계가 있음을 시사했다.
• 더 높은 차원성을 지닌 것으로 보였지만, SALSA-Lite는 알고리즘 복잡도가 낮아 MelGCC 및 SALSA-Mel에 비해 처리 지연을 크게 감소시켰다.
• GCC-PHAT의 계산 비용은 $O(M^2F)$로 나타나 SALSA-Lite의 $O(MF)$에 비해 상당히 높아 실시간 시스템에 적합하지 않았다.
• ResNet-18와 같은 더 복잡한 모델은 짧아진 $T_w$로 인한 성능 저하를 부분적으로 보완할 수 있었지만, 처리 지연과 MAC 연산 수가 증가하는 비용을 지ay했다.
• 본 연구는 후처리 지연이 무시할 수 없을 정도로 낮아 추론 지연과 통합할 수 있으며, 이는 시스템 분석을 단순화함을 확인했다.