[논문 리뷰] Multi-label Music Genre Classification from Audio, Text, and Images Using Deep Features

Sergio Oramas, Oriol Nieto외 2명|arXiv (Cornell University)|2017. 07. 16.

Music and Audio Processing참고 문헌 25인용 수 64

한 줄 요약

본 논문은 MuMu를 다중 라벨 음악 장르 분류를 위한 다중 모달 데이터셋으로 소개하고, 오디오, 텍스트, 이미지 모달리티에 걸친 깊은 특징 기반 모델을 분석하여 모달리티 융합의 이점을 보여준다.

ABSTRACT

Music genres allow to categorize musical items that share common characteristics. Although these categories are not mutually exclusive, most related research is traditionally focused on classifying tracks into a single class. Furthermore, these categories (e.g., Pop, Rock) tend to be too broad for certain applications. In this work we aim to expand this task by categorizing musical items into multiple and fine-grained labels, using three different data modalities: audio, text, and images. To this end we present MuMu, a new dataset of more than 31k albums classified into 250 genre classes. For every album we have collected the cover image, text reviews, and audio tracks. Additionally, we propose an approach for multi-label genre classification based on the combination of feature embeddings learned with state-of-the-art deep learning methodologies. Experiments show major differences between modalities, which not only introduce new baselines for multi-label genre classification, but also suggest that combining them yields improved results.

연구 동기 및 목표

• 광범위한 단일 라벨 체계를 넘어 다중 라벨의 세밀한 음악 장르 분류를 동기화한다.
• 오디오, 텍스트, 이미지 데이터를 포함하고 31k 앨범에 걸친 250개의 장르에 연결된 대규모 다중 모달 데이터셋 MuMu를 생성한다.
• 각 모달리티(오디오, 텍스트, 이미지)에 대한 딥 러닝 모델을 개발하고 평가하며, 모달리티 간 융합도 평가한다.
• 다중 라벨 장르 작업에서 레이블 인수분해의 이점과 다양한 평가 지표의 활용을 평가한다.

제안 방법

• 15초 패치의 로그 CQTs에 대해 CNN으로 오디오 트랙 표현을 학습하고, 트랙-투-앨범 집계를 수행한 뒤 얕은 분류기를 학습한다.
• 앨범 텍스트를 tf-idf 벡터 공간 모델로 표현하고, Babelfy 엔티티 연결을 이용한 시맨틱 강화로 피드포워드 네트워크에 입력한다.
• ImageNet에서 사전 학습된 ResNet-101을 사용하여 표지 이미지 특징을 추출하고 시그모이드 출력을 갖도록 장르 예측에 맞게 미세조정한다.
• 두 가지 레이블 임베딩 접근법을 조사한다: 로지스틱(이진 교차 엔트로피)과 코사인(레이블 인수분해를 위한 PPMI, SVD, 및 저차원 임베딩).
• 모달리티별 특징 벡터를 L2 정규화 후 연결(concatenate)하고 다층 퍼셉트론을 학습시켜 다중 라벨 출력(logistic 또는 cosine)을 예측한다.
• 정확도와 레이블 다양성을 측정하기 위해 AUC(레이블별 평균) 및 Catalog Coverage@k(k=1,3,5)를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 오디오, 텍스트, 이미지의 딥 러닝 기반 표현이 다중 라벨 장르 분류에서 수작업 특징을 능가할 수 있는가?
• RQ2 텍스트의 시맨틱 강화와 레이블 임베딩이 성능과 다양성을 얼마나 개선하는가?
• RQ3 MuMu 장르에 대해 오디오, 텍스트, 이미지 특징의 다중 모달 융합이 단일 모달 모델보다 우수한가?
• RQ4 레이블 공간의 차원 축소가 정확도와 카탈로그 커버리지에 어떤 영향을 미치는가?

주요 결과

• 딥 러닝 오디오 모델은 전통적인 수작업 오디오 특징(예: timbre-mlp 베이스라인)을 크게 능가한다.
• 시맨틱 강화가 적용된 텍스트 기반 접근법은 오디오 단독보다 강한 AUC와 더 높은 카탈로그 커버리지를 보인다.
• 이미지 기반 분류는 다른 모달리티에 비해 뒤처지지만 다중 모달 성능을 향상시키는 보완 정보를 제공한다.
• 코사인 혹은 로지스틱 타깃을 사용한 다중 모달 융합(A+T+I)은 일반적으로 최상의 전체 AUC와 커버리지를 제공하여 단일 모달을 능가한다.
• 레이블 인수분해(코사인)는 여러 설정에서 로지스틱에 비해 경쟁력 있는 AUC를 유지하면서 카탈로그 커버리지를 향상시킨다.
• MuMu 데이터셋은 31k 앨범, 147k 트랙, 447k 리뷰를 포함한 대규모 다중 라벨 다중 모달 장르 연구를 가능하게 한다.