[論文レビュー] GiantMIDI-Piano: A large-scale MIDI dataset for classical piano music

Qiuqiang Kong, Bochen Li+2 more|arXiv (Cornell University)|Oct 11, 2020

Music and Audio Processing被引用数 14

ひとこと要約

本論文では、2,786人の作曲家による10,855のユニークなクラシック・ピアノ曲から成る大規模なデータセット、GiantMIDI-Pianoを紹介する。このデータセットは3870万個の記錦ノートを含み、YouTubeの音声をIMSVPメタデータを用いて収集し、畳み込みニューラルネットワーク（CNN）を用いてソロ・ピアノ演奏を検出、MAESTROと比較して相対誤差率0.094を達成する高精細MIDIファイルに変換することで構築された。

ABSTRACT

Symbolic music datasets are important for music information retrieval and musical analysis. However, there is a lack of large-scale symbolic datasets for classical piano music. In this article, we create a GiantMIDI-Piano (GP) dataset containing 38,700,838 transcribed notes and 10,855 unique solo piano works composed by 2,786 composers. We extract the names of music works and the names of composers from the International Music Score Library Project (IMSLP). We search and download their corresponding audio recordings from the internet. We further create a curated subset containing 7,236 works composed by 1,787 composers by constraining the titles of downloaded audio recordings containing the surnames of composers. We apply a convolutional neural network to detect solo piano works. Then, we transcribe those solo piano recordings into Musical Instrument Digital Interface (MIDI) files using a high-resolution piano transcription system. Each transcribed MIDI file contains the onset, offset, pitch, and velocity attributes of piano notes and pedals. GiantMIDI-Piano includes 90% live performance MIDI files and 10\% sequence input MIDI files. We analyse the statistics of GiantMIDI-Piano and show pitch class, interval, trichord, and tetrachord frequencies of six composers from different eras to show that GiantMIDI-Piano can be used for musical analysis. We evaluate the quality of GiantMIDI-Piano in terms of solo piano detection F1 scores, metadata accuracy, and transcription error rates. We release the source code for acquiring the GiantMIDI-Piano dataset at https://github.com/bytedance/GiantMIDI-Piano

研究の動機と目的

• 音楽情報検索（MIR）および音楽分析分野における、クラシック・ソロ・ピアノ音楽のための大規模なシンボリック・データセットの不足に対処すること。
• 複数の歴史的時代にわたる多様な作曲家と作品をカバーする包括的かつ高品質なMIDIデータセットの構築。
• 自動的にソロ・ピアノ録音を検出および高分解能で音楽的記録に変換するパイプラインの開発と検証。
• ソロ・ピアノ検出、メタデータの正確性、および変換誤差率の観点から、データセットの品質を評価すること。
• 再現可能なデータ収集および処理のためのオープンソースツールの公開。

提案手法

• IMSVPから作曲家名および作品名を抽出し、YouTube音声の検索クエリを生成する。
• 畳み込みニューラルネットワーク（CNN）を用いてYouTube音声からソロ・ピアノ録音を検出する。F1スコアは88.14%を達成。
• 高分解能ピアノ変換システムを適用し、オンセット、オフセット、ピッチ、ベロシティ、スustainペダルイベントを含むMIDIファイルに変換する。
• 音声タイトルに作曲家の姓が含まれるかを基準にフィルタリングすることで、7,236件の作品のサブセットをキュレーションする。これによりデータ品質が向上する。
• MAESTROデータセットと比較して、アライメントメトリクス（削除、挿入、置換、誤差率）を用いて変換品質を測定する。
• MAESTROの誤差を差し引くことで、変換固有の誤差を推定する相対誤差指標を定義する。

実験結果

リサーチクエスチョン

• RQ1 非構造的なYouTube音声からソロ・ピアノ演奏を検出するためのディープラーニングベースのシステムは、どの程度効果的か？
• RQ2 変換システムは、実世界の音声録音における音楽的イベント（オンセット、ピッチ、ベロシティ）の正確性をどの程度保持しているか？
• RQ3 結果として得られるMIDIデータセットの規模と多様性（作曲家、作品、総再生時間）は、どのように評価できるか？
• RQ4 GiantMIDI-Pianoの変換品質は、MAESTROのような既存のベンチマークと比較してどの程度か？
• RQ5 このデータセットは、異なる時代の作曲家におけるピッチクラス、インターバル、コード分포の分析を可能にするか？

主な発見

• GiantMIDI-Pianoには、2,786人の作曲家による10,855のユニークなクラシック・ピアノ曲が含まれ、合計1,237時間の音楽と3,870万個の変換ノートを含む。
• キュレーションされたサブセットには、1,787人の作曲家による7,236作品が含まれ、2,430万個の変換ノートを有しており、作曲家の姓がタイトルに含まれるかを基準にフィルタリングすることで、より高いデータ品質が確保された。
• ソロ・ピアノ検出システムはF1スコア88.14%を達成し、関連する音声コンテンツを識別する上で優れた性能を示した。
• 変換システムはMAESTROと比較して相対誤差率0.094を達成し、中程度ではあるが許容可能な変換忠実度を示した。
• データセットは、6人の異なる時代の作曲家を対象にしたピッチクラス、インターバル、トライコード、テトラコードの周波数分布の例を示すことで、音楽的分析を可能にしている。
• 誤差率の外れ値として、バッハの『A-flat majorのプレリュード』では0.679のERが観察された。これは主に非標準チューニング（A4 ≠ 440 Hz）に起因する。