[논문 리뷰] Zero-Shot Audio Classification via Semantic Embeddings

Huang Xie, Tuomas Virtanen|arXiv (Cornell University)|2020. 11. 24.

Music and Audio Processing참고 문헌 37인용 수 4

한 줄 요약

이 논문은 텍스트 레이블 또는 문장 기술을 통해 추출한 의미적 임베딩을 활용하여, 훈련 샘플이 없는 새로운 소리 클래스를 분류하는 제로샷 오디오 분류 방법을 제안한다. VGGish 기반의 음성 임베딩과 의미적 임베딩(예: Word2Vec, GloVe, BERT) 간의 이항 호환성 함수를 사용함으로써, ESC-50과 AudioSet에서 뚜렷한 성능 향상을 달성한다. 특히 복수의 언어 모델 출력을 연결하여 통합함으로써 성능 향상이 뚜렷하다.

ABSTRACT

In this paper, we study zero-shot learning in audio classification via semantic embeddings extracted from textual labels and sentence descriptions of sound classes. Our goal is to obtain a classifier that is capable of recognizing audio instances of sound classes that have no available training samples, but only semantic side information. We employ a bilinear compatibility framework to learn an acoustic-semantic projection between intermediate-level representations of audio instances and sound classes, i.e., acoustic embeddings and semantic embeddings. We use VGGish to extract deep acoustic embeddings from audio clips, and pre-trained language models (Word2Vec, GloVe, BERT) to generate either label embeddings from textual labels or sentence embeddings from sentence descriptions of sound classes. Audio classification is performed by a linear compatibility function that measures how compatible an acoustic embedding and a semantic embedding are. We evaluate the proposed method on a small balanced dataset ESC-50 and a large-scale unbalanced audio subset of AudioSet. The experimental results show that classification performance is significantly improved by involving sound classes that are semantically close to the test classes in training. Meanwhile, we demonstrate that both label embeddings and sentence embeddings are useful for zero-shot learning. Classification performance is improved by concatenating label/sentence embeddings generated with different language models. With their hybrid concatenations, the results are improved further.

연구 동기 및 목표

• 훈련 샘플이 전혀 없는 소리 클래스에 대해, 오직 의미적 보조 정보만을 활용하여 오디오 분류를 가능하게 한다.
• 레이블 임베딩과 문장 임베딩이 제로샷 오디오 분류에서 얼마나 효과적인지 조사한다.
• 다양한 사전 학습된 언어 모델에서 유도된 의미적 임베딩을 결합하여 분류 성능을 향상시킨다.
• 작은 균형 데이터셋(ESC-50)과 큰 비균형 데이터셋(AudioSet)에서 이 방법의 성능을 평가한다.
• 다양한 임베딩 융합 전략이 제로샷 학습 성능에 미치는 영향을 탐색한다.

제안 방법

• 오디오 클립에서 깊이 있는 음성 임베딩을 추출하기 위해 VGGish를 사용한다.
• 소리 클래스의 텍스트 레이블 또는 문장 기술에서 사전 학습된 언어 모델(Word2Vec, GloVe, BERT)을 활용해 의미적 임베딩을 생성한다.
• 분류를 위해 음성 임베딩과 의미적 임베딩 간의 호환성을 측정하기 위해 이항 호환성 함수를 적용한다.
• 다양한 언어 모델에서 유도된 레이블/문장 임베딩을 연결하여 하이브리드 의미적 표현을 구성한다.
• 음성 임베딩과 의미적 임베딩 간의 호환성 점수를 사용해 선형 분류기를 훈련한다.
• 성능 차이의 통계적 유의성을 평가하기 위해 McNemar의 검정을 적용한다.

실험 결과

연구 질문

• RQ1 텍스트 레이블이나 문장 기술에서 유도된 의미적 임베딩이 제로샷 오디오 분류에 효과적으로 기여할 수 있는가?
• RQ2 레이블 임베딩과 문장 임베딩을 사용했을 때 제로샷 오디오 분류의 성능는 어떻게 달라지는가?
• RQ3 여러 언어 모델에서 유도된 의미적 임베딩을 연결하면 분류 성능이 향상되는가?
• RQ4 언어 모델의 선택(예: Word2Vec, GloVe, BERT)이 제로샷 학습에서 의미적 표현의 질에 어떤 영향을 미치는가?
• RQ5 임베딩 융합 전략(예: 레이블 및 문장 임베딩의 하이브리드 연결)이 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 테스트 클래스와 의미적으로 유사한 소리 클래스를 포함한 훈련이 이루어질 경우, ESC-50에서의 분류 성능이 뚜렷이 향상된다.
• 레이블 임베딩과 문장 임베딩 모두 제로샷 오디오 분류에 효과적이며, 일부 설정에서는 문장 임베딩이 더 높은 성능을 보인다.
• 여러 언어 모델에서 유도된 임베딩을 연결함으로써(예: Word2Vec, GloVe, BERT) 개별 모델 대비 분류 정확도가 향상된다.
• 레이블 및 문장 임베딩의 하이브리드 연결(예: WLE+BSE, GLE+BSE)이 가장 우수한 성능을 보이며, AudioSet에서 Top-1 정확도는 48.5%에 이른다.
• 통계적 유의성 검정(McNemar의 검정, p = 5.41e-13)을 통해 WLE+GLE+BSE가 GLE+BSE보다 성능 향상이 매우 유의미하다는 것이 확인되었다.
• 이 방법은 AudioSet과 같은 대규모 비균형 데이터셋에서도 강력한 일반화 능력을 보이며, 소규모 벤치마크를 넘어서는 확장성을 입증한다.