[논문 리뷰] Efficient Supervised Training of Audio Transformers for Music Representation Learning

Pablo Alonso-Jiménez, Xavier Serra외 1명|arXiv (Cornell University)|2023. 09. 28.

Music and Audio ProcessingComputer Science인용 수 3

한 줄 요약

이 논문은 330만 개의 Discogs 곡을 사용하여 패치아웃 정규화를 활용해 지도적 미세조정을 수행한, 효율적이고 컨볼루션 없는 음악 표현 학습을 위한 오디오 트랜스포머인 MAEST를 제안한다. ImageNet 또는 AudioSet 가중치로 초기화하고, 더 긴 입력 세그먼트를 사용하며, 중간 트랜스포머 블록에서 특징을 추출함으로써, MAEST는 음악 태깅 작업에서 최신 기술 수준(SOTA)의 성능을 달성하면서도 추론 시 패치아웃을 적용해 더 빠른 추론을 가능하게 한다. 이는 정확도와 속도 면에서 컨볼루션 기반 기준 모델을 능가한다.

ABSTRACT

In this work, we address music representation learning using convolution-free transformers. We build on top of existing spectrogram-based audio transformers such as AST and train our models on a supervised task using patchout training similar to PaSST. In contrast to previous works, we study how specific design decisions affect downstream music tagging tasks instead of focusing on the training task. We assess the impact of initializing the models with different pre-trained weights, using various input audio segment lengths, using learned representations from different blocks and tokens of the transformer for downstream tasks, and applying patchout at inference to speed up feature extraction. We find that 1) initializing the model from ImageNet or AudioSet weights and using longer input segments are beneficial both for the training and downstream tasks, 2) the best representations for the considered downstream tasks are located in the middle blocks of the transformer, and 3) using patchout at inference allows faster processing than our convolutional baselines while maintaining superior performance. The resulting models, MAEST, are publicly available and obtain the best performance among open models in music tagging tasks.

연구 동기 및 목표

• 순수 어텐션 트랜스포머를 사용하여 컨볼루션 네트워크 대신 음악 표현 학습을 향상시키기 위해.
• 아키텍처 및 훈련 설계 선택 사항이 최종 음악 태깅 성능에 미치는 영향을 조사하기 위해.
• 정확도를 유지하면서도 추론 시 패치아웃을 적용해 더 빠른 추론을 가능하게 하기 위해.
• 공개 가능하고 오픈소스인 모델을 개발하여 음악 태깅 분야에서 최신 기술 수준(SOTA)의 성능을 달성하기 위해.

제안 방법

• 이진 교차 엔트로피 손실을 사용하여 지도적 음악 태깅을 수행하면서 스펙트로그램 패치에서 오디오 트랜스포머를 훈련시킴.
• 일반화 성능 향상과 계산 비용 감소를 위해 훈련 중에 패치아웃 정규화를 적용함.
• 특징 품질 향상을 위해 사전 훈련된 ImageNet 또는 AudioSet 가중치로 모델을 초기화함.
• 대부분의 표현 품질 평가를 위해 다양한 트랜스포머 블록(초기, 중간, 후기)에서 임베딩을 추출함.
• 성능 유지와 함께 특징 추출 속도 향상을 위해 추론 시 패치아웃을 적용함.
• ROC-AUC 및 mAP 메트릭을 사용하여 여러 음악 태깅 벤치마크에서 모델을 평가함.

실험 결과

연구 질문

• RQ1 사전 훈련된 초기화 전략(예: ImageNet, AudioSet)이 최종 음악 태깅 성능에 어떤 영향을 미치는가?
• RQ2 음악 표현을 위한 오디오 트랜스포머에서 훈련 및 추론 시 최적의 입력 세그먼트 길이는 무엇인가?
• RQ3 어느 트랜스포머 블록과 토큰 유형이 음악 태깅 작업에 가장 우수한 표현을 제공하는가?
• RQ4 추론 시 패치아웃을 적용하면 특징 추출 속도를 크게 향상시킬 수 있으며, 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 제안된 모델의 성능은 개방형 및 폐쇄형 설정에서 기존 SOTA 모델과 비교해 어떻게 되는가?

주요 결과

• 사전 훈련된 AudioSet 또는 ImageNet 가중치로 모델를 초기화하면 최종 음악 태깅 작업에서 뛰어난 성능을 달성한다.
• 훈련 및 추론 시 더 긴 입력 세그먼트(최대 30초)를 사용하면 훈련 및 최종 성능 모두 향상된다.
• 음악 태깅 작업에 가장 우수한 표현은 트랜스포머의 중간 블록에서 추출되며, 최종 또는 최초 레이어에서는 아니다.
• 추론 시 패치아웃을 적용하면 MAEST가 기준 모델인 EfficientNet-B0보다 2~3배 더 빠른 추론 속도를 달성하면서도 더 높은 mAP 점수를 유지한다.
• MAEST는 MTGJ-Genre, MTGJ-Inst, MSDc 데이터셋에서 공개된 모델 중 최신 기술 수준(SOTA)의 성능을 달성한다.
• 모델은 모든 평가된 최종 작업에서 기준 모델인 EfficientNet-B0보다 속도와 정확도 면에서 모두 뛰어나다.