[논문 리뷰] CNN Architectures for Large-Scale Audio Classification

Shawn Hershey, Sourish Chaudhuri외 11명|arXiv (Cornell University)|2016. 09. 29.

Music and Audio Processing인용 수 14

한 줄 요약

이 논문은 7000만 개의 영상 데이터셋(YouTube-100M)과 30,871개의 레이블을 사용하여 표준 합성곱 신경망(CNN) 아키텍처—AlexNet, VGG, Inception, ResNet—을 대규모 음성 분류에 적용하는 것을 평가한다. 로그-멜 스펙트로그램을 사용해 이미지 기반 CNN에서 음성으로의 전이 학습을 수행한 결과, 음향 이벤트 탐지(AED) 작업에서 최신 기술 수준의 성능을 달성하였으며, Audio Set 데이터셋에서 ResNet 임베딩을 사용할 경우 mAP가 1.3배 향상되었다.

ABSTRACT

Convolutional Neural Networks (CNNs) have proven very effective in image classification and show promise for audio. We use various CNN architectures to classify the soundtracks of a dataset of 70M training videos (5.24 million hours) with 30,871 video-level labels. We examine fully connected Deep Neural Networks (DNNs), AlexNet [1], VGG [2], Inception [3], and ResNet [4]. We investigate varying the size of both training set and label vocabulary, finding that analogs of the CNNs used in image classification do well on our audio classification task, and larger training and label sets help up to a point. A model using embeddings from these classifiers does much better than raw features on the Audio Set [5] Acoustic Event Detection (AED) classification task.

연구 동기 및 목표

• 최신 기술 수준의 이미지 분류 CNN 아키텍처가 대규모 음성 분류 작업에 효과적으로 적용될 수 있는지 조사하기 위해.
• 학습 데이터셋 크기와 레이블 어휘 크기가 음성 분류 성능에 미치는 영향을 평가하기 위해.
• 대규모 음성 모델에서 학습된 표현이 하류 음향 이벤트 탐지(AED) 작업으로 전이 가능한지 평가하기 위해.
• 영상 수준의 분류에 있어 간단한 프레임 수준 예측 평균화가 더 복잡한 시계열 모델링보다 성능이 뛰어나지 않는지 확인하기 위해.

제안 방법

• 7000만 개의 YouTube 영상에서 겹치지 않는 960ms 음성 프레임을 추출하고, 모든 영상 수준의 레이블을 그대로 상속하였다.
• 각 음성 프레임을 로그-멜 스펙트로그램으로 변환하여 사전에 훈련된 CNN에 2차원 이미지 입력으로 처리하였다.
• 다양한 크기의 훈련 데이터와 레이블 세트를 사용하여 여러 CNN 아키텍처(AlexNet, VGG, Inception, ResNet-50)를 훈련 및 평가하였다.
• 30,000개의 레이블을 가진 모델에서 훈련을 가속화하기 위해 최종 레이어 이전에 128개의 유닛을 가진 브로크핏 레이어를 사용하였다.
• 영상 수준의 예측을 도출하기 위해 프레임 수준 분류기 출력을 평균화하여 시각 영상 분류 방법을 모방하였다.
• 최고 성능을 보인 ResNet 모델의 임베딩과 함께 원시 로그-멜 특징을 사용하여 Audio Set 데이터셋에서 완전 연결 네트워크를 미세 조정하였다.

실험 결과

연구 질문

• RQ1 표준 이미지 기반 CNN 아키텍처가 대규모 음성 분류 작업에 적용되었을 때 성능는 어떠한가?
• RQ2 학습 데이터셋 크기와 레이블 어휘 크기가 증가할수록 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 대규모 음성 분류 작업에서 학습된 표현이 하류 음향 이벤트 탐지(AED) 작업 성능 향상에 기여할 수 있는가?
• RQ4 영상 수준의 분류에 있어 간단한 프레임 수준 예측 평균화가 충분한가, 아니면 더 복잡한 시계열 모델링이 필요한가?

주요 결과

• 평가된 아키텍처 중에서 ResNet-50가 가장 뛰어난 성능을 보였으며, 더 단순한 DNN과 이전의 CNN 아키텍처인 AlexNet과 VGG를 뛰어넘었다.
• 30,000개까지 증가한 레이블 세트에서 훈련한 결과, 더 작은 평가 세트에서 성능 향상이 약간이지만 일관되게 발생하여 정규화 효과가 있음을 시사했다.
• 23,000개에서 7000만 개의 영상으로 학습 데이터셋 크기를 증가시켰을 때 성능 향상이 있었으며, 70만~7000만 개 영상에서 훈련된 모델은 거의 동일한 성능을 보여, 일정 규모 이상에서는 수익 감소 현상이 발생함을 시사했다.
• 30,000개의 레이블을 가진 7000만 영상 모델이 ResNet 임베딩을 사용할 경우 Audio Set 데이터셋에서 균형 잡힌 mAP 0.314와 AUC 0.959를 달성하였으며, 로그-멜 기반 베이스라인(mAP 0.137) 대비 135% 향상된 성능을 보였다.
• 7만 및 23,000개 영상에서 훈련된 모델과 7000만 영상 모델 간의 성능 격차는 과적합을 시사하며, 더 강력한 정규화나 데이터 증강을 통해 이를 완화할 수 있을 것이다.
• 간단한 프레임 수준 예측 평균화가 더 복잡한 시계열 모델링과 거의 동일한 성능을 보였으며, 이는 국소적 프레임 수준 표현이 영상 수준 분류에 매우 분류 능력이 뛰어나다는 것을 시사한다.