[논문 리뷰] A Novel Audio Representation for Music Genre Identification in MIR

Navin Kamuni, Mayank Jindal외 3명|arXiv (Cornell University)|2024. 04. 01.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 음악 정보 검색(MIR) 분야에서 음악 장르 식별을 위한 Jukebox 생성 모델에서 유도된 새로운 음성 표현을 평가한다. SOTA 수준과 유사한 데이터셋을 사용하여 트랜스포머 기반 분류기로 평가한 결과, Jukebox의 표현 방식은 표준 멜 스펙트로그램보다 성능이 떨어지며, 이는 인간 청각 인지와의 일치가 부족하기 때문일 것으로 보인다. 이는 깊은 벡터 양자화 접근 방식을 채택하고 있음에도 불구하고 그렇다.

ABSTRACT

For Music Information Retrieval downstream tasks, the most common audio representation is time-frequency-based, such as Mel spectrograms. In order to identify musical genres, this study explores the possibilities of a new form of audio representation one of the most usual MIR downstream tasks. Therefore, to discretely encoding music using deep vector quantization; a novel audio representation was created for the innovative generative music model i.e. Jukebox. The effectiveness of Jukebox's audio representation is compared to Mel spectrograms using a dataset that is almost equivalent to State-of-the-Art (SOTA) and an almost same transformer design. The results of this study imply that, at least when the transformers are pretrained using a very modest dataset of 20k tracks, Jukebox's audio representation is not superior to Mel spectrograms. This could be explained by the fact that Jukebox's audio representation does not sufficiently take into account the peculiarities of human hearing perception. On the other hand, Mel spectrograms are specifically created with the human auditory sense in mind.

연구 동기 및 목표

• Jukebox의 깊은 벡터 양자화된 음성 표현 방식이 MIR 분야의 음악 장르 식별 성능을 향상시키는지 조사하는 것.
• 동일한 모델 및 데이터 조건에서 Jukebox의 표현 방식과 표준 멜 스펙트로그램 간의 성능을 비교하는 것.
• Jukebox의 생성 기반 미리 훈련 과정이 최종 MIR 작업을 위한 더 효과적인 표현을 제공하는지 평가하는 것.
• Jukebox 표현 방식이 인간 청각 인지 모델링을 고려하지 않아 성능에 제한을 받는지 탐색하는 것.
• 표현 방식의 성능이 미리 훈련 데이터의 크기에 민감한지 판단하는 것.

제안 방법

• 공정한 비교를 위해 두 표현 방식에 동일한 트랜스포머 기반 분류기 아키텍처를 사용한다.
• Jukebox의 음성 표현은 학습된 벡터 양자화된 VAE를 통해 추출되며, 원시 음성에서 이산 잠재 코드를 생성한다.
• 멜 스펙트로그램은 표준 멜 스케일 필터뱅크를 사용하여 계산되며, MIR 분야에서 널리 알려진 기준 기반 방식이다.
• 모델은 약 20,000개의 트랙으로 구성된 데이터셋에서 미세 조정된다. 이는 비교적 작은 미리 훈련 데이터 크기이다.
• 표준 음악 장르 분류 지표인 정확도 및 F1 점수 등을 사용하여 성능을 평가한다.
• 모델 훈련 및 평가 프rotocol를 동일하게 유지하여 표현 방식의 영향만을 분리해 분석한다.

실험 결과

연구 질문

• RQ1 Jukebox의 벡터 양자화된 음성 표현 방식이 음악 장르 분류에서 멜 스펙트로그램을 능가하는가?
• RQ2 동일한 트랜스포머 아키텍처와 동일한 데이터셋 크기를 사용할 때, Jukebox의 표현 방식 성능은 멜 스펙트로그램과 비교해 어떻게 되는가?
• RQ3 Jukebox 표현 방식이 인간 청각 인지 모델링을 고려하지 않아 MIR 작업에서 성능에 어떤 영향을 미치는가?
• RQ4 표현 방식 간의 성능 격차는 미리 훈련 데이터의 크기에 민감한가?
• RQ5 생성 모델이 학습한 표현 방식이 최종 MIR 작업에서 수작업으로 설계된 표현 방식(예: 멜 스펙트로그램)만큼 효과적인가?

주요 결과

• Jukebox의 음성 표현 방식은 음악 장르 식별에서 멜 스펙트로그램보다 뛰어난 성능을 보이지 않았다.
• 모든 평가 지표에서 트랜스포머 모델이 Jukebox의 표현 방식을 사용할 경우 멜 스펙트로그램을 사용할 경우보다 일관되게 성능이 열 劣했다.
• 연구팀은 이 성능 열 劣의 원인을 Jukebox 표현 방식이 인간 청각 인지에 최적화되어 있지 않기 때문으로 보고 있다. 반면 멜 스펙트로그램은 이러한 최적화를 고려하고 있다.
• 20,000개 트랙의 비교적 작은 미리 훈련 데이터셋을 사용함에도 불구하고 멜 스펙트로그램은 성능 우위를 유지했다.
• 결과적으로 수작업으로 설계된 표현 방식인 멜 스펙트로그램은 이 최종 작업에서 경쟁력 있거나 더 우수한 성능을 보였다.
• 이러한 발견은 생성 미리 훈련만으로 MIR 작업을 위한 더 나은 표현 학습이 보장되지 않는다는 것을 시사한다.