[논문 리뷰] GiantMIDI-Piano: A large-scale MIDI dataset for classical piano music

Qiuqiang Kong, Bochen Li외 2명|arXiv (Cornell University)|2020. 10. 11.

Music and Audio Processing인용 수 14

한 줄 요약

이 논문은 2,786명의 작곡가가 작곡한 10,855개의 고유한 고전적 피아노 곡으로 구성된 대규모 데이터셋인 GiantMIDI-Piano를 소개한다. 이 데이터셋은 총 3,870만 개의 변환된 노트를 포함하며, IMSLP 메타데이터를 활용해 유튜브에서 오디오를 수확하고, 컨volutional 신경망(CNN)을 통해 솔로 피아노 연주를 탐지한 후, 도착 시점, 종료 시점, 음고, 강도, 지속 Pedal 데이터를 포함한 고해상도 MIDI 파일로 변환하여, MAESTRO와 비교해 상대 오차율 0.094를 기록했다.

ABSTRACT

Symbolic music datasets are important for music information retrieval and musical analysis. However, there is a lack of large-scale symbolic datasets for classical piano music. In this article, we create a GiantMIDI-Piano (GP) dataset containing 38,700,838 transcribed notes and 10,855 unique solo piano works composed by 2,786 composers. We extract the names of music works and the names of composers from the International Music Score Library Project (IMSLP). We search and download their corresponding audio recordings from the internet. We further create a curated subset containing 7,236 works composed by 1,787 composers by constraining the titles of downloaded audio recordings containing the surnames of composers. We apply a convolutional neural network to detect solo piano works. Then, we transcribe those solo piano recordings into Musical Instrument Digital Interface (MIDI) files using a high-resolution piano transcription system. Each transcribed MIDI file contains the onset, offset, pitch, and velocity attributes of piano notes and pedals. GiantMIDI-Piano includes 90% live performance MIDI files and 10\% sequence input MIDI files. We analyse the statistics of GiantMIDI-Piano and show pitch class, interval, trichord, and tetrachord frequencies of six composers from different eras to show that GiantMIDI-Piano can be used for musical analysis. We evaluate the quality of GiantMIDI-Piano in terms of solo piano detection F1 scores, metadata accuracy, and transcription error rates. We release the source code for acquiring the GiantMIDI-Piano dataset at https://github.com/bytedance/GiantMIDI-Piano

연구 동기 및 목표

• 음악 정보 검색(MIR) 및 음악 분석 분야에서 고전적 솔로 피아노 음악을 위한 대규모 심볼릭 데이터셋의 부족을 보완하기 위해.
• 다양한 작곡가와 시대의 작품을 포함하는 포괄적이고 고품질의 MIDI 데이터셋을 구축하기 위해.
• 자동으로 솔로 피아노 녹음파일을 탐지하고 오디오에서 고해상도 변환을 수행하는 파이프라인을 개발하고 검증하기 위해.
• 솔로 피아노 탐지, 메타데이터 정확도, 변환 오차율 측면에서 데이터셋의 품질을 평가하기 위해.
• 재현 가능한 데이터 확보 및 처리를 위한 오픈소스 도구를 공개하기 위해.

제안 방법

• IMSLP에서 작곡가 및 곡 이름을 추출하여 유튜브 오디오 검색 쿼리를 생성하기 위해.
• 컨volutional 신경망(CNN)을 사용해 유튜브 오디오에서 솔로 피아노 녹음을 탐지하여 F1 스코어 88.14%를 달성하기 위해.
• 고해상도 피아노 변환 시스템을 적용해 탐지된 오디오를 도착 시점, 종료 시점, 음고, 강도, 지속 Pedal 이벤트를 포함한 MIDI 파일로 변환하기 위해.
• 오디오 제목에 작곡가 성함이 포함된 것을 필터링하여 데이터 품질을 향상시키기 위해 7,236개의 곡을 선별한 셋을 구성하기 위해.
• MAESTRO 데이터셋과의 정렬 메트릭(삭제, 삽입, 치환 및 오차율)을 사용해 변환 품질을 측정하기 위해.
• MAESTRO의 오차를 빼서 총 오차에서의 전용 오차를 추정하기 위해 상대 오차 지표를 정의하기 위해.

실험 결과

연구 질문

• RQ1 비정형적인 유튜브 오디오에서 딥러닝 기반 시스템이 솔로 피아노 연주를 탐지하는 데 얼마나 효과적인가?
• RQ2 변환 시스템이 실제 오디오 녹음에서 음악 이벤트(도착 시점, 음고, 강도)의 정확성을 어느 정도 유지하는가?
• RQ3 결과적으로 생성된 MIDI 데이터셋의 총 규모와 다양성은 작곡가, 곡, 총 연주 시간 측면에서 어떻게 평가되는가?
• RQ4 GiantMIDI-Piano의 변환 품질은 MAESTRO와 같은 기존 기준과 비교해 어떻게 되는가?
• RQ5 이 데이터셋은 다양한 시대의 작곡가들 간의 음계, 간격, 코드 분포를 분석하는 데 의미 있는 음악적 분석을 지원할 수 있는가?

주요 결과

• GiantMIDI-Piano는 총 1,237시간의 음악과 3,870만 개의 변환된 노트를 포함한 10,855개의 고유한 고전적 피아노 곡으로 구성되어 있으며, 2,786명의 작곡가가 참여했다.
• 선택된 서브셋은 1,787명의 작곡가가 참여한 7,236개의 곡을 포함하며, 2,430만 개의 변환된 노트를 포함하여 제목 기반 필터링을 통해 더 높은 데이터 품질을 확보했다.
• 솔로 피아노 탐지 시스템은 F1 스코어 88.14%를 기록하여 관련 오디오 콘텐츠를 효과적으로 식별함을 보여주었다.
• 변환 시스템은 MAESTRO와 비교해 상대 오차율 0.094를 기록하여 중간 수준이지만 수용 가능한 변환 정밀도를 확보했다.
• 데이터셋은 다양한 시대의 6명의 작곡가에 대해 음계, 간격, 삼각형, 사각형의 빈도 분포를 통해 음악적 분석이 가능함을 입증했다.
• 오차율에 이상치가 관찰되었으며, 예를 들어 바흐의 A-flat major의 프리엘루드에서는 오차율 0.679를 기록했으며, 주로 비표준 튜닝(A4 ≠ 440 Hz)으로 인한 것이었다.