[논문 리뷰] Representation Learning of Music Using Artist Labels

Ji Young Park, Jongpil Lee외 3명|arXiv (Cornell University)|2017. 10. 18.

Music and Audio Processing참고 문헌 25인용 수 18

한 줄 요약

이 논문은 표준 소프트맥스 기반 DCNN와 쌍별 유사도 학습을 위한 시아네스 DCNN를 훈련시켜 예술가 레이블—풍부하고 객관적인 메타데이터—을 사용하여 음악 오디오의 딥 표현 학습을 제안한다. 이 모델들은 의미론적 레이블을 사용한 최신 기법들과 비교하여 유사한 성능을 달성하며, 전이 학습 환경에서 분류 가능한 음악 특징을 학습하는 데 있어 예술가 레이블이 강력하고 확장 가능한 대안임을 보여준다.

ABSTRACT

In music domain, feature learning has been conducted mainly in two ways: unsupervised learning based on sparse representations or supervised learning by semantic labels such as music genre. However, finding discriminative features in an unsupervised way is challenging and supervised feature learning using semantic labels may involve noisy or expensive annotation. In this paper, we present a supervised feature learning approach using artist labels annotated in every single track as objective meta data. We propose two deep convolutional neural networks (DCNN) to learn the deep artist features. One is a plain DCNN trained with the whole artist labels simultaneously, and the other is a Siamese DCNN trained with a subset of the artist labels based on the artist identity. We apply the trained models to music classification and retrieval tasks in transfer learning settings. The results show that our approach is comparable to previous state-of-the-art methods, indicating that the proposed approach captures general music audio features as much as the models learned with semantic labels. Also, we discuss the advantages and disadvantages of the two models.

연구 동기 및 목표

• 예술가 레이블—자연적으로 발생하는 객관적인 메타데이터—를 음악 표현 학습의 감독 신호로 사용할 수 있는지 탐색하기 위해.
• 음악 오디오 표현에서 비지도 특징 학습(예: 얕은 계층)과 노이즈가 많은 의미론적 레이블(예: 장르, 분위기)의 한계를 해결하기 위해.
• 표준 DCNN(소프트맥스 출력)과 쌍별 유사도 학습을 위한 시아네스 DCNN라는 두 가지 딥 러닝 아키텍처를 비교하기 위해.
• 전이 학습을 통해 미리 학습된 특징이 새로운 음악 데이터셋에 얼마나 잘 일반화되는지 평가하기 위해.
• 예술가 레이블이 비용이 많이 들거나 모호한 의미론적 애너테이션의 실용적인 저비용 대안이 될 수 있는지 조사하기 위해.

제안 방법

• 표준 1D-컨볼루션 신경망(DCNN)은 소프트맥스 출력층을 사용하여 음악 트랙을 여러 예술가 중 하나로 분류하도록 훈련된다.
• 모델은 메르스펙트로그램을 입력으로 사용하며, 각 컨볼루션 레이어 이후 배치 정규화와 ReLU 활성화 함수를 적용한다.
• 최종 256차원의 히든 레이어 특징 벡터는 후속 작업을 위한 학습된 오디오 표현으로 추출된다.
• 대규모 예술가 세트를 다루기 위해 시아네스 DCNN을 도입하여 앵커와 다른 예술가 간의 쌍별 유사도를 학습함으로써 출력 레이어 크기를 줄인다.
• 시아네스 모델은 동일한 예술가 쌍 간의 유사도를 최대화하고, 다른 예술가 쌍 간의 유사도를 최소화하기 위해 대비 손실(contrastive loss)을 사용한다.
• 전이 학습을 적용: 훈련된 모델들은 세 가지 벤치마크 데이터셋(GTZAN, NAVER, FMA)에서 음악 분류 및 검색 작업을 위한 특징 추출기로 사용된다.

실험 결과

연구 질문

• RQ1 풍부하고 객관적인 예술가 레이블이 딥 음악 표현 학습의 효과적인 감독 신호로 기능할 수 있는가?
• RQ2 표준 DCNN(예술가 분류 훈련)와 시아네스 DCNN 간의 특징 품질과 확장성 측면에서 성능는 어떻게 비교되는가?
• RQ3 예술가 레이블을 사용한 표현 학습이 장르 분류 및 음악 검색과 같은 후속 작업에 잘 일반화되는가?
• RQ4 예술가 수가 증가함에 따라 제안된 모델의 성능에 어떤 영향을 미치는가?
• RQ5 예술가 레이블을 통한 특징 학습 품질이 장르나 분위기와 같은 의미론적 레이블을 사용한 학습과 비교해 유사한가?

주요 결과

• 제안된 예술가 레이블 기반 DCNN 모델은 의미론적 레이블을 사용한 최신 기법들과 유사하거나 더 뛰어난 성능을 달성하며, 예술가 레이블이 감독 신호로서의 효과성을 입증한다.
• 모든 데이터셋에서 시아네스 DCNN 모델이 음악 검색 작업에서 표준 DCNN 모델을 앞서며, 더 나은 유사도 기반 표현 학습 능력을 보여준다.
• 두 모델의 성능은 예술가 수가 증가함에 따라 향상되며, 특히 시아네스 모델은 10,000명의 예술가까지도 지속적인 성능 향상을 보이며, 표준 모델은 2,000~5,000명에서 포화 상태에 이르게 된다.
• t-SNE 시각화 결과는 학습된 특징이 장르, 보컬 스타일, 성별 기준으로 군집되어 있음을 보여주며, 모델들이 의미 있는 의미론적 관련 음악 특징을 포착하고 있음을 시사한다.
• 시아네스 모델은 새로운 예술가가 추가될 경우 전체 네트워크를 재학습할 필요 없이 더 확장 가능하고 재학습이 용이하다.
• 결과적으로 예술가 레이블은 노이즈가 많거나 비용이 많이 드는 의미론적 애너테이션의 실용적이고 저비용이며 고품질의 대안임을 시사한다.