[논문 리뷰] Two-level Explanations in Music Emotion Recognition

Verena Haunschmid, Shreyan Chowdhury외 1명|arXiv (Cornell University)|2019. 05. 28.

Music and Audio Processing참고 문헌 4인용 수 5

한 줄 요약

이 논문은 음악 감정 인식을 위한 이중 수준의 해석 가능한 AI 프레임워크를 제안한다. 이 프레임워크는 음성 스펙트로그램을 해석 가능한 중위도 청각적 특징(예: 연주 방식, 긴장감)과 연결하고, 그 다음 감정 예측으로 이어진다. 선형 감정 헤드와 LIME 기반의 오디오에서 중위도 특징으로의 설명을 조합함으로써, 시각적이고 청각적으로 해석 가능한 설명을 생성하여 감정 제어를 위한 추적 가능하고 타겟된 오디오 수정을 가능하게 한다.

ABSTRACT

Current ML models for music emotion recognition, while generally working quite well, do not give meaningful or intuitive explanations for their predictions. In this work, we propose a 2-step procedure to arrive at spectrogram-level explanations that connect certain aspects of the audio to interpretable mid-level perceptual features, and these to the actual emotion prediction. That makes it possible to focus on specific musical reasons for a prediction (in terms of perceptual features), and to trace these back to patterns in the audio that can be interpreted visually and acoustically.

연구 동기 및 목표

• 딥 러닝 모델이 음악 감정 인식에서 해석 가능성이 부족한 문제를 해결하기 위해.
• 중위도 청각적 표현을 통해 추상적인 감정 예측과 구체적인 오디오 특징 사이의 격차를 메우기 위해.
• 오디오 스펙트로그램을 중위도 특징과 연결함으로써 안정적이고 시각적으로 해석 가능하며 청각적으로 의미 있는 설명을 생성하기 위해.
• 감정 예측에 가장 기여하는 스펙트로그램 영역을 식별함으로써 타겟된 오디오 수정을 가능하게 하기 위해.
• 감정 표현을 제어할 수 있는 응용 분야에서 모델의 투명성을 향상시키기 위해.

제안 방법

• 7개의 중위도 청각적 특징을 예측하기 위한 공유된 중간 레이어를 가진 VGG 스타일의 CNN과 8개의 감정 품질을 예측하기 위한 최종 선형 레이어.
• 중위도 특징 예측과 감정 예측을 동시에 최적화하기 위해 병합된 손실를 사용한 공동 훈련.
• 오디오에서 중위도 특징으로의 설명에 LIME 기반의 방법을 적용하여, 변형된 스펙트로그램 샘플을 사용해 중요한 이미지 세그먼트를 식별한다.
• 최적의 스펙트로그램 분할을 위해 scale=25, min_size=40로 설정된 Felzenszwalb의 분할 알고리즘 사용.
• p-value 대 비율 임계값(10^-6)을 통한 자동 특징 선택을 통해 설명의 안정성과 복잡도를 감소시킨다.
• 가중치가 부여된 스펙트로그램 세그먼트로부터 오디오 재합성하여 청취자가 영향을 미치는 특징이 두드러지게 드러나도록 '향상된' 버전을 생성한다.

실험 결과

연구 질문

• RQ1 중위도 청각적 특징을 도입함으로써 이중 수준 모델이 음악 감정 인식의 해석 가능성을 향상시킬 수 있는가?
• RQ2 LIME는 오디오에서 중위도 특징으로의 예측에 대해 안정적이고 시각적으로 해석 가능한 스펙트로그램 수준의 설명을 어떻게 적응시킬 수 있는가?
• RQ3 식별된 스펙트로그램 세그먼트가 연주 방식이나 리듬적 복잡성과 같은 청각적으로 의미 있는 음악적 품질과 어느 정도 일치하는가?
• RQ4 설명을 통해 감정 예측에 영향을 미치는 특정 오디오 수정을 제어적으로 수행할 수 있는가?
• RQ5 샘플링된 변형 수의 수가 스펙트로그램 기반 설명에서 LIME 설명의 안정성과 품질에 어떤 영향을 미치는가?

주요 결과

• 이중 수준 모델은 비해석 가능한 기준 모델과 비교해 유사한 감정 예측 성능를 달성하여, 해석 가능성의 도입이 정확도를 저하시키지 않음을 확인했다.
• LIME 기반 설명은 특히 드럼이 많은 세그먼트에서 '연주 방식'과 '에너지' 예측에 기여하는 특정 스펙트로그램 영역을 성공적으로 식별했다.
• 50,000개의 변형된 샘플을 사용함으로써 기본 LIME 설정에 비해 설명의 안정성이 크게 향상되었다.
• 10^-6의 p-value 대 비율 임계값을 통한 자동 p-value 기반 특징 선택은 각 인스턴스당 약 30~60개의 관련 스펙트로그램 세그먼트를 효과적으로 선별하여 노이즈를 감소시키고 해석 가능성을 향상시켰다.
• 양의 가중치가 부여된 세그먼트로부터 재합성된 오디오는 펄스성 요소의 영향을 뚜렷이 드러내어 설명의 청각적 타당성을 확인했다.
• 이 방법은 특정 음악적 특징을 더 뚜렷하게 들리게 하는 '향상된' 오디오 버전을 생성할 수 있게 하여 감정 중심의 오디오 편집 응용 가능성을 뒷받침한다.