[논문 리뷰] PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition

Qiuqiang Kong, Yin Cao외 4명|arXiv (Cornell University)|2019. 12. 21.

Music and Audio Processing참고 문헌 48인용 수 73

한 줄 요약

본 논문은 AudioSet에서 대규모 사전학습 오디오 신경망(PANNs)을 학습시키고, 오디오 태깅에서 최첨단 성능을 입증하며, 다양한 아키텍처 및 입력 표현을 사용한 여러 가지 오디오 패턴 인식 태스크로의 성공적인 전달을 보여준다.

ABSTRACT

Audio pattern recognition is an important research topic in the machine learning area, and includes several tasks such as audio tagging, acoustic scene classification, music classification, speech emotion classification and sound event detection. Recently, neural networks have been applied to tackle audio pattern recognition problems. However, previous systems are built on specific datasets with limited durations. Recently, in computer vision and natural language processing, systems pretrained on large-scale datasets have generalized well to several tasks. However, there is limited research on pretraining systems on large-scale datasets for audio pattern recognition. In this paper, we propose pretrained audio neural networks (PANNs) trained on the large-scale AudioSet dataset. These PANNs are transferred to other audio related tasks. We investigate the performance and computational complexity of PANNs modeled by a variety of convolutional neural networks. We propose an architecture called Wavegram-Logmel-CNN using both log-mel spectrogram and waveform as input feature. Our best PANN system achieves a state-of-the-art mean average precision (mAP) of 0.439 on AudioSet tagging, outperforming the best previous system of 0.392. We transfer PANNs to six audio pattern recognition tasks, and demonstrate state-of-the-art performance in several of those tasks. We have released the source code and pretrained models of PANNs: https://github.com/qiuqiangkong/audioset_tagging_cnn.

연구 동기 및 목표

• AudioSet(1.9M 클립, 527 클래스)에 대해 넓은 범위의 오디오 태깅 및 패턴 인식을 위한 PANNs를 도입한다.
• AudioSet 태깅을 위해 CNN, ResNet, MobileNet, 1차원 CNN 등 다양한 CNN 아키텍처를 평가한다.
• 태깅을 개선하기 위해 시간 도메인 파형과 로그 멜 특성을 결합하는 Wavegram-Logmel-CNN을 제안한다.
• 일반화 능력을 향상시키기 위한 데이터 처리 기법(밸런싱, Mixup, SpecAugment)을 기술한다.
• 태깅을 넘어 다양한 오디오 태스크로 PANNs의 전이를 시연하고 코드/모델을 공개한다.

제안 방법

• 다중 레이블 태깅을 위해 이진 교차 엔트로피 손실로 원시 AudioSet 오디오에서 PANNs를 학습한다.
• CNN14, VGG유사 CNN(6/10/14 계층), ResNet(ResNet22/38/54), MobileNet(V1/V2), 1차원 CNN(DaiNet, LeeNet, Res1dNet) 등 아키텍처를 탐구한다.
• Wavegram-CNN 도입: 1D CNN으로 파형에서 시간-주파수 Wavegram을 학습한 다음 Wavegram에 대해 2D CNN(CNN14)을 적용한다.
• Wavegram-Logmel-CNN은 Wavegram과 로그-멜 스펙트로그램 입력을 채널 차원에서 융합하여 제안한다.
• 데이터 처리: 미니배치에서 균형 샘플링, 로그멜 또는 파형에서의 Mixup 증강, 로그멜 스펙트로그램에서의 SpecAugment를 적용한다.
• 전이 전략: 처음부터 학습, PANN를 특징 추출기로 사용(고정) 또는 새로운 태스크에 대해 PANN를 미세조정한다.

실험 결과

연구 질문

• RQ1 AudioSet에서 학습된 PANN 아키텍처가 AudioSet 태깅에서 이전의 최첨단 시스템과 비교해 얼마나 잘 수행되는가?
• RQ2 입력 표현(로그멜 스펙트로그램 vs 파형 vs Wavegram)과 네트워크 아키텍처가 태깅 성능과 효율성에 어떤 영향을 주는가?
• RQ3 AudioSet에서 사전 학습된 PANN가 다른 오디오 패턴 인식 태스크(예: 음향 현장 분류, 음악 태깅, 음성 감정 등)로 효과적으로 전이될 수 있는가, 그리고 어떤 전략과 함께?

주요 결과

• CNN14 기반 PANN은 AudioSet 태깅에서 mAP 0.431을 달성하여 이전 최첨단 0.392를 능가했다.
• Wavegram-Logmel-CNN은 CNN14 및 MobileNetV1 기준선보다 성능을 더 향상시킨다.
• 데이터 균형 및 증강(Mixup, SpecAugment)은 mAP를 상당히 향상시킨다(예: 1.9M 샘플에서 bal+mixup으로 0.431).
• AudioSet에서 학습된 CNN 기반 PANN은 다른 태스크로도 효과적으로 전이되어 태스크별 기준선에 비해 강력한 결과를 달성한다.
• 저자들은 재사용을 위한 소스 코드 및 사전 학습된 PANN 모델을 공개한다.
• 최고의 전반 구성(CNN14 백본과 Wavegram-Logmel 입력)은 임베딩-피처 기반 접근법 대비 여러 메트릭 및 태스크에서 우수한 성능을 보인다.