[논문 리뷰] Learning Features of Music from Scratch

John Thickstun, Zaïd Harchaoui외 1명|arXiv (Cornell University)|2016. 11. 29.

Music and Audio Processing참고 문헌 26인용 수 115

한 줄 요약

본 논문은 음악 표현 학습을 위한 대규모 라벨링 데이터셋 MusicNet를 소개하고, 엔드-투-엔드 및 스펙트로그램 기반 모델을 다중 레이블 음표 예측에서 벤치마킹하며, 학습된 특징이 스펙트로그램과 경쟁할 수 있고 CNN/MLP 접근법이 MusicNet에서 강한 성능을 달성함을 보여준다.

ABSTRACT

MusicNet is a collection of 330 freely-licensed classical music recordings, together with over 1 million annotated labels indicating the precise time of each note in every recording, the instrument that plays each note, and the note's position in the metrical structure of the composition. The labels are acquired from musical scores aligned to recordings by dynamic time warping. The labels are verified by trained musicians; we estimate a labeling error rate of 4%. We offer the MusicNet labels to the machine learning and music communities as a resource for training models and a common benchmark for comparing results. This dataset was introduced in the paper "Learning Features of Music from Scratch." [1] This repository consists of 3 top-level files: <strong>musicnet.tar.gz</strong> - This file contains the MusicNet dataset itself, consisting of PCM-encoded audio wave files (.wav) and corresponding CSV-encoded note label files (.csv). The data is organized according to the train/test split described and used in "Invariances and Data Augmentation for Supervised Music Transcription". [2] <strong>musicnet_metadata.csv</strong> - This file contains track-level information about recordings contained in MusicNet. The data and label files are named with MusicNet ids, which you can use to cross-index the data and labels with this metadata file. <strong>musicnet_midis.tar.gz</strong> - This file contains the reference MIDI files used to construct the MusicNet labels. A PyTorch interface for accessing the MusicNet dataset is available on GitHub. For an audio/visual introduction and summary of this dataset, see the MusicNet inspector, created by Jong Wook Kim. The audio recordings in MusicNet consist of Creative Commons licensed and Public Domain performances, sourced from the Isabella Stewart Gardner Museum, the European Archive Foundation, and Musopen. The provenance of specific recordings and midis are described in the metadata file. [1] Learning Features of Music from Scratch. John Thickstun, Zaid Harchaoui, and Sham M. Kakade. In International Conference on Learning Representations (ICLR), 2017. ArXiv Report. <pre><code>@inproceedings{thickstun2017learning, title={Learning Features of Music from Scratch}, author = {John Thickstun and Zaid Harchaoui and Sham M. Kakade}, year={2017}, booktitle = {International Conference on Learning Representations (ICLR)} }</code></pre> [2] Invariances and Data Augmentation for Supervised Music Transcription. John Thickstun, Zaid Harchaoui, Dean P. Foster, and Sham M. Kakade. In International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2018. ArXiv Report. <pre><code>@inproceedings{thickstun2018invariances, title={Invariances and Data Augmentation for Supervised Music Transcription}, author = {John Thickstun and Zaid Harchaoui and Dean P. Foster and Sham M. Kakade}, year={2018}, booktitle = {International Conference on Acoustics, Speech, and Signal Processing (ICASSP)} }</code></pre>

연구 동기 및 목표

• 클래식 음악의 노트 수준 정렬(음표 위치 정합성)을 포함하는 대규모의 공개 가능한 라벨링 데이터셋(MusicNet)을 만들어 음악 정보학에서 감독 학습을 가능하게 한다.
• 오디오 구간에 대한 멀티레이블 음표 예측 작업을 정의하고 평가 프로토콜을 확립한다.
• Raw 오디오에서의 엔드-투-엔드 모델과 스펙트로그램 기반 특징에 대한 벤치마킹을 통해 다양한 아키텍처(스펙트로그램 기반, MLP, CNN)를 평가한다.
• 엔드-투-엔드 모델이 학습하는 저수준 특징이 스펙트로그램 기반 특징과 어떻게 비교되는지 분석한다.
• 데이터 크기와 윈도우 크기가 주파수 선택적 특징의 학습에 어떤 영향을 미치는지 조사한다.

제안 방법

• MusicNet를 34시간의 녹음과 1,299,329개의 라벨링된 음표로 구성하고 10명의 작곡가와 11개의 악기로 확장한다.
• 각 오디오 구간을 128개의 악기/음표 조합으로 라벨링하는 멀티레이블 분류 설정을 정의한다.
• Raw 오디오와 스펙트로그램 기반 특징에서 모델을 학습시키며 엔드-투-엔드 신경망과 합성곱 신경망(CNN)을 포함한다.
• 스펙트로그램과 유사한 표현으로 보이는 저수준 주파수 선택 필터를 학습한다.
• Held-out 테스트 세트에서 정밀도, 재현율, 평균 정밀도 등을 이용해 평가한다.
• 학습된 특징의 시간-주파수 트레이드오프를 이해하기 위해 윈도우 크기 효과와 주파수 컷오프를 탐구한다.

실험 결과

연구 질문

• RQ1 대규모 라벨링 클래식 음악 데이터셋이 음표 전사에 대한 효과적인 감독 학습을 가능하게 하는가?
• RQ2 엔드-투-엔드 모델이 음표 예측에서 스펙트로그램과 비교할 만큼 주파수 선택적 특징을 학습하는가?
• RQ3 다양한 아키텍처(MLP, CNN)가 MusicNet의 멀티레이블 음표 예측 작업에서 어떤 성능을 보이는가?
• RQ4 윈도우 크기와 저주파 영역에 대한 초점이 정렬 및 전사 성능에 어떤 영향을 미치는가?
• RQ5 학습된 특징이 전통적 스펙트로그램 표현을 어느 정도 대체하거나 상회하는가?

주요 결과

• MusicNet는 1.29백만 개가 넘는 시간적 라벨을 포함한 34시간의 라벨링된 클래식 음악을 제공하여 음표 예측에 대한 감독 학습을 가능하게 한다.
• 엔드-투-엔드 모델은 스펙트로그램 유사한 표현을 재현하는 주파수 선택 필터를 학습하며 특정 설정에서 스펙트로그램 특징을 약간 능가할 수 있다.
• 로그-ReLU 활성화를 가진 이층 네트워크는 해석 가능한, 모듈화된 사인 파형 가중치를 회복하여 지역 스펙트럴 패턴을 닮아간다.
• 합성곱 및 MLP 기반 모델은 상당한 성능을 달성하며, CNN(64 보폭, 16,384 샘플)이 표 3에서 가장 높은 평균 정밀도(67.8%)를 달성한다.
• 학습된 특징은 전통적 스펙트로그램과 경쟁력이 있으며, 특징의 윈도우 크기와 저주파 강조에 의해 성능이 좌우된다.
• 연구는 대규모 데이터 규모가 음악 표현을 회복하는 데 유익하다는 점을 강조한다