[논문 리뷰] Soundscape Captioning using Sound Affective Quality Network and Large Language Model

Yuanbo Hou, Qiaoqiao Ren외 5명|arXiv (Cornell University)|2024. 06. 09.

Noise Effects and Management인용 수 4

한 줄 요약

이 논문은 청각 환경의 맥락 인식 가능한 설명을 생성하는 자동화된 작업인 사운드스케이프 캡션(SoundSCap)을 소개한다. 이는 청각적 환경/사건 식별과 감정적 품질을 통합함으로써 이루어진다. 제안된 SoundSCaper 모델은 다중 척도 음향 모델(SoundAQnet)과 대규모 언어 모델(LLM)을 결합하여 전문가 수준의 품질을 갖춘 캡션을 생성하며, 인간 평가 점수에서 통계적으로 유의미한 차이가 없음(5점 만점 평균 차이 0.21–0.25).

ABSTRACT

We live in a rich and varied acoustic world, which is experienced by individuals or communities as a soundscape. Computational auditory scene analysis, disentangling acoustic scenes by detecting and classifying events, focuses on objective attributes of sounds, such as their category and temporal characteristics, ignoring their effects on people, such as the emotions they evoke within a context. To fill this gap, we propose the affective soundscape captioning (ASSC) task, which enables automated soundscape analysis, thus avoiding labour-intensive subjective ratings and surveys in conventional methods. With soundscape captioning, context-aware descriptions are generated for soundscape by capturing the acoustic scenes (ASs), audio events (AEs) information, and the corresponding human affective qualities (AQs). To this end, we propose an automatic soundscape captioner (SoundSCaper) system composed of an acoustic model, i.e. SoundAQnet, and a large language model (LLM). SoundAQnet simultaneously models multi-scale information about ASs, AEs, and perceived AQs, while the LLM describes the soundscape with captions by parsing the information captured with SoundAQnet. SoundSCaper is assessed by two juries of 32 people. In expert evaluation, the average score of SoundSCaper-generated captions is slightly lower than that of two soundscape experts on the evaluation set D1 and the external mixed dataset D2, but not statistically significant. In layperson evaluation, SoundSCaper outperforms soundscape experts in several metrics. In addition to human evaluation, compared to other automated audio captioning systems with and without LLM, SoundSCaper performs better on the ASSC task in several NLP-based metrics. Overall, SoundSCaper performs well in human subjective evaluation and various objective captioning metrics, and the generated captions are comparable to those annotated by soundscape experts.

연구 동기 및 목표

• 기존 설문 조사와 전문가 평가에 의존하는 주관적인 사운드스케이프 평가 과정의 노동 집약적인 절차를 자동화하기 위해.
• 청각 환경에서 객관적인 음향 이벤트 탐지와 주관적인 인간 감정 반응 간 격차를 메우기 위해.
• 자연어 캡션을 위한 청각 환경, 이벤트, 그리고 인식된 감정적 품질(PAQ)을 통합한 프레임워크를 개발하기 위해.
• 16명의 사운드스케이프 전문가로 구성된 심의단을 통해 인간 전문가와 비교하여 자동 캡션 시스템의 성능을 평가하기 위해.
• 딥 러닝과 LLM을 활용하여 복잡한 청각 환경에 대해 확장 가능하고 맥락 인식 가능하며 감정적으로 정보를 담은 설명을 가능하게 하기 위해.

제안 방법

• 원시 음성에서 청각 환경(AS), 음향 이벤트(AE), 그리고 인식된 감정적 품질(PAQ)을 동시에 모델링하는 경량의 다중 척도 딥 네트워크인 SoundAQnet를 제안한다.
• 8D 사운드스케이프 순환체계 모델(SCM)을 사용하여 쾌적함, 사건 빈도, 평온함 등의 인지적 특성(예: 쾌적함, 활기차름, 평온함)을 학습하기 위해 참가자 평가가 포함된 대규모 데이터셋으로 훈련한다.
• 단기적으로 두드러지는 사건(예: 사이렌)과 장기적인 환경적 맥락(예: 도시 vs. 숲)을 모두 포착하기 위해 다중 척도 표현을 사용한다.
• SoundAQnet의 출력을 일반 목적의 대규모 언어 모델(LLM)과 통합하여 세 가지 시각(AS, AE, PAQ)에서 자연어 캡션을 생성한다.
• 모델의 잠재 표현에서 일관되고 맥락 인식 가능한 설명을 합성하기 위해 제로샷 또는 피셔샷 프롬프팅 전략을 활용한다.
• 보류된 테스트 데이터와 다양한 음성 길이 및 청각적 특성을 가진 외부 혼합 데이터셋에 대해, 심의단 기반 인간 평가를 통해 시스템을 검증한다.

실험 결과

연구 질문

• RQ1 자동화된 시스템이 전문가가 작성한 설명 수준의 품질을 갖춘 맥락 인식 가능한 사운드스케이프 캡션을 생성할 수 있는가?
• RQ2 청각 환경/이벤트 식별과 인식된 감정적 품질(PAQ)을 통합할 경우, 기존의 AS/AE 분류 방식에 비해 캡션 성능 향상 정도는 어떠한가?
• RQ3 다양한 길이와 청각적 특성을 가진 음성 클립에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ4 SoundAQnet의 감정적 품질 예측은 개인 전문가의 인식과 비교해 보았을 때 주관성과 일관성 측면에서 어떻게 다른가?
• RQ5 SoundSCaper가 생성한 캡션과 전문가가 작성한 캡션 간의 성능 격차는 통계적으로 유의미한가?

주요 결과

• 테스트 세트에서 SoundSCaper가 생성한 캡션의 평균 인간 평가 점수는 5점 만점에 4.29점이었고, 전문가가 작성한 캡션의 평균 점수는 4.50점이었으며, 이는 0.21점의 차이를 보였다.
• 5개의 모델이 알 수 없는 외부 혼합 데이터셋에서 SoundSCaper의 평균 점수는 4.25점이었고, 전문가가 작성한 캡션의 평균 점수는 4.50점이었으며, 이는 0.25점의 차이를 보였다.
• SoundSCaper와 전문가가 작성한 캡션 간의 성능 격차는 통계적으로 유의미하지 않아 인간 인식에서 품질이 유사하다는 것을 시사한다.
• SoundSCaper는 주요 음향 이벤트와 일반적인 청각 환경 특성을 잘 포착하지만, 세밀한 공간적 및 시간적 세부 정보(예: 차량의 방향, 짧은 사이렌 존재 여부)는 부족하다.
• SoundAQnet의 감정적 품질 예측은 개인 전문가의 반응보다 더 중립적이고 일반적인 경향을 보이며, 개인적 편향을 줄이지만 감정 표현의 미세한 뉘앙스를 손실할 수 있다.
• 다양한 길이와 청각적 특성을 가진 음성 클립에 대해 모델이 강력한 일반화 능력을 보이며, 실제 환경 조건에서도 견고함을 입증한다.