[논문 리뷰] Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing

Ibrahim Malik, Siddique Latif외 4명|arXiv (Cornell University)|2023. 05. 01.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 자원이 제한된 디바이스에서 비음성 소리(예: 비명, 울음소리)의 감정을 효율적으로 탐지할 수 있도록 엣지 컴퓨팅에 최적화된 지식 정렬 기반 비음성 음성 감정 인식 시스템을 제안한다. 학생 모델은 비명 탐지에서 78.60%의 정확도와 비명 유형 분류에서 66.42%의 정확도를 기록했으며, 이는 MobileNetV3s를 능가하는 성능이다. 또한 교사 모델 대비 모델 크기를 53% 감소시키고 추론 지연 시간을 약 50% 감소시켰다.

ABSTRACT

Non-speech emotion recognition has a wide range of applications including healthcare, crime control and rescue, and entertainment, to name a few. Providing these applications using edge computing has great potential, however, recent studies are focused on speech-emotion recognition using complex architectures. In this paper, a non-speech-based emotion recognition system is proposed, which can rely on edge computing to analyse emotions conveyed through non-speech expressions like screaming and crying. In particular, we explore knowledge distillation to design a computationally efficient system that can be deployed on edge devices with limited resources without degrading the performance significantly. We comprehensively evaluate our proposed framework using two publicly available datasets and highlight its effectiveness by comparing the results with the well-known MobileNet model. Our results demonstrate the feasibility and effectiveness of using edge computing for non-speech emotion detection, which can potentially improve applications that rely on emotion detection in communication networks. To the best of our knowledge, this is the first work on an edge-computing-based framework for detecting emotions in non-speech audio, offering promising directions for future research.

연구 동기 및 목표

• 비음성 감정 인식을 위한 엣지 컴퓨팅 최적화 시스템의 부족을 해결하기 위해, 특히 실시간 응용 분야에서의 중요성을 고려한다.
• 개인 보조기기와 같은 저자원 엣지 디바이스에 배포하기 위해 감정 인식 모델의 계산 및 메모리 오버헤드를 줄인다.
• 카페, 주방, 지하철역, 사무실 환경 등 실제 소음 환경에서의 강인성 평가를 수행한다.
• 지식 정렬이 모델 크기와 추론 지연 시간을 크게 줄이면서도 높은 성능을 유지할 수 있음을 입증한다.
• 헬스케어, 안전, 스마트 홈 응용 분야에서 실시간 감정 탐지에 활용 가능한 구현 가능한 프레임워크를 제공한다.

제안 방법

• 큰 성능을 보이는 교사 모델에서 작은 계산 효율성 모델인 학생 모델로 지식을 전달하기 위해 지식 정렬을 적용한다.
• 학생 모델은 교사 모델의 소프트 레이블을 사용하여 복잡한 감정 패턴을 학습하며, 파rameter 수를 줄인다.
• 프레임워크는 비음성 음성 데이터셋 두 개(비명 탐지 및 감정 분류에 중점)를 기반으로 평가된다.
• 노이즈 증강은 테스트 동안에만 적용되어 실제 음향 환경을 시뮬레이션하고 강인성 평가를 수행한다.
• 업보드(Intel Atom E3940 CPU)에서 추론 지연 시간, 로딩 시간, 모델 크기를 측정하여 모델 효율성을 벤치마킹한다.
• 정확도, 파라미터 수, 메모리 프로파일을 주요 지표로 삼아 MobileNetV3s 및 교사 모델과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 지식 정렬을 통해 큰 감정 인식 모델을 압축하면서도 엣지 디바이스에서 비음성 음성에 대해 성능을 유지할 수 있는가?
• RQ2 제안된 학생 모델은 카페, 주방, 지하철역 등 실제 소음 환경에서 어떻게 성능을 발휘하는가?
• RQ3 엣지에 배포 가능한 비음성 감정 인식 시스템에서 모델 크기, 추론 지연 시간, 정확도 간의 상호 갈등은 어떻게 나타나는가?
• RQ4 배경 노이즈에 대한 강인성과 계산 효율성 측면에서 제안된 시스템은 MobileNetV3s보다 어떻게 비교되는가?
• RQ5 저전력 하드웨어에서 실시간으로 비음성 감정 표현(예: 비명, 울음소리)을 신뢰성 있게 탐지하고 분류할 수 있는가?

주요 결과

• 제안된 학생 모델은 비명 탐지에서 78.60%의 정확도, 비명 유형 분류에서 66.42%의 정확도를 기록했으며, 이는 MobileNetV3s의 76.92% 및 60.15%를 초월하는 성능이다.
• 학생 모델은 모델 크기를 2.719MB로 줄이고 파라미터 수를 712,778로 줄여 교사 모델 대비 93.6% 감소시켰다.
• 추론 지연 시간은 MobileNetV3s보다 약 20ms 빠르며, 교사 모델의 거의 반 수준이었으며, 모든 테스트 모델 중에서 가장 빠른 로딩 시간을 기록했다.
• 노이즈 환경에서도 강건한 일반화 성능를 유지했으며, 비명 탐지 정확도는 카페(72.86%)에서 사무실(80.13%)까지 변동했고, 분류 정확도는 노이즈 유형에 따라 63.10%에서 65.68% 사이를 유지했다.
• 배경 노이즈를 테스트 기간에만 추가했을 때 성능 저하가 거의 없었으며, 실제 소음 환경에 강인함을 입증했다.
• 결과적으로 실시간 경고 및 모니터링 응용 분야에서 개인 보조기기와 같은 엣지 디바이스에 효율적이고 고성능의 비음성 감정 인식을 구현할 수 있음을 확인했다.