[논문 리뷰] Codified audio language modeling learns useful representations for music information retrieval

Rodrigo Castellon, Chris Donahue외 1명|arXiv (Cornell University)|2021. 07. 12.

Music and Audio Processing참고 문헌 61인용 수 22

한 줄 요약

이 논문은 100만首의 노래에 대해 사전 훈련된 Jukebox 모델의 표현을 사용하는 코딩된 오디오 언어 모델링(CALM)이 전통적인 태그 기반 사전 훈련보다 음악 정보 검색(MIR)을 위한 특징을 훨씬 더 강력하게 제공한다는 것을 보여준다. 평균적으로, CALM 특징은 태깅, 장르 분류, 키 탐지, 정서 인식의 네 가지 MIR 작업에서 성능을 30% 향상시킨다. 특히 키 탐지에서 뛰어난 성능을 보이며, 레이블 기반 방법보다 오디오 기반 사전 훈련이 더 풍부하고 전이 가능한 표현을 포착한다는 것을 시사한다.

ABSTRACT

We demonstrate that language models pre-trained on codified (discretely-encoded) music audio learn representations that are useful for downstream MIR tasks. Specifically, we explore representations from Jukebox (Dhariwal et al. 2020): a music generation system containing a language model trained on codified audio from 1M songs. To determine if Jukebox's representations contain useful information for MIR, we use them as input features to train shallow models on several MIR tasks. Relative to representations from conventional MIR models which are pre-trained on tagging, we find that using representations from Jukebox as input features yields 30% stronger performance on average across four MIR tasks: tagging, genre classification, emotion recognition, and key detection. For key detection, we observe that representations from Jukebox are considerably stronger than those from models pre-trained on tagging, suggesting that pre-training via codified audio language modeling may address blind spots in conventional approaches. We interpret the strength of Jukebox's representations as evidence that modeling audio instead of tags provides richer representations for MIR.

연구 동기 및 목표

• 코딩된 오디오 언어 모델링(CALM)을 통해 사전 훈련된 음악 생성 모델의 표현이 분류 기반 MIR 작업에 유용한가를 조사하는 것.
• 수동 태그, 메타데이터, 대조 학습을 통해 사전 훈련된 모델과 비교해 CALM 유래 특징의 효능을 평가하는 것.
• 레이블이 아닌 원시 오디오를 직접 모델링할 경우, MIR에 더 풍부하고 일반화 가능한 표현을 얻을 수 있는가를 판단하는 것.
• 원래 생성을 위해 설계된 대규모 NLP 스타일 모델을 후행 분류 기반 MIR 작업에 재사용할 잠재력을 평가하는 것.

제안 방법

• 100만首의 노래에 대해 사전 훈련된 Jukebox 모델을 사용하여 오디오 표현을 추출한다. 이 모델은 100만 곡의 음악에 대해 사전 훈련된 VQ-VAE를 통해 이산적인 오디오 코드를 사용하는 트랜스포머 기반 언어 모델을 적용한다.
• 오디오 웨이브포맷은 먼저 VQ-VAE를 통해 이산 토큰으로 인코딩되어, 오디오에 NLP 스타일의 언어 모델링을 적용할 수 있도록 한다.
• 추출된 Jukebox 특징을 입력으로 사용하여 얕은 탐색 모델(예: 피드포워드 네트워크)을 후행 MIR 작업에 대해 훈련시킨다.
• 이 탐색 모델의 성능을 태그, 메타데이터, 또는 대조 학습을 통해 사전 훈련된 모델의 특징을 사용한 베이스라인과 비교한다.
• 네 가지 MIR 작업—음악 태깅, 장르 분류, 키 탐지, 정서 인식—에서 실험을 수행한다.
• 모든 실험은 도커 컨테이너와 코다랩 워크시트를 사용하여 재현 가능하며, 코드와 모델 가중치를 공개하여 투명성을 확보한다.

실험 결과

연구 질문

• RQ1 코딩된 오디오 언어 모델링을 통해 사전 훈련된 음악 생성 모델의 표현이 후행 MIR 작업으로 효과적으로 전이될 수 있는가?
• RQ2 CALM 유래 특징은 수동 태그, 메타데이터, 또는 대조 학습을 통해 사전 훈련된 모델의 특징과 비교해 성능에서 어떻게 다를까?
• RQ3 레이블이 아닌 오디오를 사전 훈련할 경우, MIR에 더 강력하고 정보가 풍부한 표현을 얻을 수 있는가?
• RQ4 태깅과 관련성이 낮은 작업, 예를 들어 키 탐지에 대해 CALM이 특히 유익한가?

주요 결과

• Jukebox의 CALM 사전 훈련에서 유도된 표현은 태그 기반 사전 훈련 대비 네 가지 MIR 작업에서 평균적으로 성능을 30% 향상시킨다.
• 키 탐지 작업에서는 CALM 특징가 태그 기반 특징보다 유의미하게 뛰어나, 오디오 모델링이 태그에 잘 반영되지 않는 구조적 특성을 포착한다는 것을 시사한다.
• 단일 12GB GPU를 사용해 추론하는 데에도 불구하고, CALM 기반 접근법은 여러 MIR 작업에서 최첨단 모델과 경쟁 가능한 성능을 달성한다.
• 결과적으로, 원시 오디오를 직접 모델링할 경우 레이블 기반 사전 훈련보다 더 풍부하고 일반화 가능한 표현을 얻을 수 있으며, 특히 태깅과 직접적인 관련이 없는 작업에서 그러한 이점이 두드러진다.
• CALM의 성공은 대규모 오디오 모델링(특히 NLP에서 영감을 받은)이 MIR에서 새로운 능력을 해방시킬 수 있다는 광범위한 가설을 뒷받침한다.
• 저자들은 코드, 도커 컨테이너, 코다랩 워크시트를 공개하여 전체 재현 가능성을 보장하고, CALM 기반 MIR 분야의 향후 연구를 장려한다.