[논문 리뷰] Representation Learning of Music Using Artist, Album, and Track Information

Jongpil Lee, Jiyoung Park외 1명|arXiv (Cornell University)|2019. 06. 27.

Music and Audio Processing참고 문헌 8인용 수 7

한 줄 요약

이 논문은 비용이 많이 들고 의미적 레이블이 모호한 대안으로, 예술가, 앨범, 트랙 정보와 같은 사실적 메타데이터를 사용하여 음악의 자기지도 학습 표현 학습 방법을 제안한다. 3초 길이의 오디오 세그먼트에 대해 시아모이드 CNN와 대비 학습을 사용하여, 이 메타데이터 유형들을 함께 학습함으로써, 특히 세 가지 메타데이터 소스를 모두 조합할 경우, 유전자 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Supervised music representation learning has been performed mainly using semantic labels such as music genres. However, annotating music with semantic labels requires time and cost. In this work, we investigate the use of factual metadata such as artist, album, and track information, which are naturally annotated to songs, for supervised music representation learning. The results show that each of the metadata has individual concept characteristics, and using them jointly improves overall performance.

연구 동기 및 목표

• 사람, 앨범, 트랙과 같은 사실적이고 자연 발생적인 음악 메타데이터(예: 예술가, 앨범, 트랙)가 감독 학습 표현 학습에 효과적으로 활용될 수 있는지 탐색한다.
• 장르나 분위기와 같은 의미적 레이블을 음악에 레이블링하는 데 드는 높은 비용과 모호성 문제를 해결한다.
• 단일 소스 학습과 비교하여, 다중 메타데이터 수준에서의 공동 학습이 표현 품질을 향상시키는지 평가한다.
• 모델 성능에 영향을 미치는 음성 샘플 수와 학습 데이터 크기의 영향을 조사한다.
• 외부 유전자 데이터셋에서 전이 학습을 통해 학습된 표현의 일반화 능력을 평가한다.

제안 방법

• 3초 길이의 오디오 세그먼트에서 표현을 학습하기 위해 시아모이드 스타일의 컨volutional 신경망(CNN)을 사용한다.
• 양성(동일한 개념)과 음성(다른 개념) 쌍을 구분하기 위해 다수의 음성 샘플을 사용하는 대비 학습을 적용한다.
• 세 가지 별도의 유사도 개념을 정의한다: 예술가(동일한 예술가), 앨범(동일한 앨범), 트랙(동일한 트랙), 각각 고유한 양성/음성 샘플링 전략을 갖는다.
• 세 개념의 손실 함수를 결합하는 공동 학습 모델을 사용하며, 세 작업 간에 가중치를 공유한다.
• 학습, 검증, 테스트를 위해 균형 잡힌 분할을 사용하여 Bertin-Mahieux 등(2011)의 메타데이터를 포함한 Million Song Dataset에서 모델을 훈련한다.
• 마진 값(예술가, 앨범, 트랙에 대해 각각 0.4, 0.25, 0.1)과 같은 하이퍼파라미터는 그리드 서치를 통해 최적화한다.

실험 결과

연구 질문

• RQ1 예술가, 앨범, 트랙 정보와 같은 사실적 메타데이터가 음악 표현 학습에 효과적인 감독 신호로 기능할 수 있는가?
• RQ2 각 메타데이터 유형을 개별적으로 학습하는 것과 비교해, 다중 메타데이터 수준에서의 공동 학습은 어떤가?
• RQ3 대비 학습에서 음성 샘플 수가 모델 성능에 어떤 영향을 미치는가?
• RQ4 학습 샘플 수가 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ5 메타데이터에서 학습된 표현이 유전자 분류 작업에 얼마나 잘 일반화되는가?

주요 결과

• 공동 모델은 개별 모델보다 성능이 뛰어나, 트랙 개념에 대해 0.945의 정확도를 기록했으며, 단일 트랙 모델의 0.922보다 높다.
• 예술가 모델이 전이 학습에서 가장 높은 성능을 보였으며, GTZAN 데이터셋에서 0.745의 F1 스코어를 기록했고, 앨범 모델(0.763)과 트랙 모델(0.745)을 모두 앞섰다.
• 세 메타데이터 유형을 모두 사용한 공동 학습은 최고의 단일 모델보다 略로 향상된 성능을 보였으며, GTZAN에서 0.745의 F1 스코어와 NAVER 한국어에서 0.686의 F1 스코어를 기록했다.
• 음성 샘플 수를 늘릴수록 성능 향상이 나타났다: GTZAN에서 F1 스코어는 1개 음성 샘플일 때 0.665에서 16개 음성 샘플일 때 0.711로 상승했다.
• 더 큰 학습 데이터는 결과를 향상시켰다: GTZAN에서 F1 스코어는 500명의 예술가일 때 0.638에서 10,000명의 예술가일 때 0.755로 상승했으며, FMA 소형 및 NAVER 한국어에서도 유사한 경향을 보였다.
• 전이 학습은 GTZAN과 FMA 소형에서 가장 효과적이었지만, NAVER 한국어에서는 원천 데이터셋과 목표 데이터셋 간의 교차 문화적 분포 이질성으로 인해 덜 효과적이었다.