[論文レビュー] Learning Features of Music from Scratch

John Thickstun, Zaïd Harchaoui+1 more|arXiv (Cornell University)|Nov 29, 2016

Music and Audio Processing参考文献 26被引用数 115

ひとこと要約

この論文はMusicNetという音楽表現を学習するための大規模なラベル付きデータセットを導入し、エンドツーエンドとスペクトログラムベースのモデルを用いた多ラベルノート予測をベンチマークし、学習された特徴がスペクトログラムに匹敵しCNN/MLPアプローチがMusicNet上で高い性能を達成することを示します。

ABSTRACT

MusicNet is a collection of 330 freely-licensed classical music recordings, together with over 1 million annotated labels indicating the precise time of each note in every recording, the instrument that plays each note, and the note's position in the metrical structure of the composition. The labels are acquired from musical scores aligned to recordings by dynamic time warping. The labels are verified by trained musicians; we estimate a labeling error rate of 4%. We offer the MusicNet labels to the machine learning and music communities as a resource for training models and a common benchmark for comparing results. This dataset was introduced in the paper "Learning Features of Music from Scratch." [1] This repository consists of 3 top-level files: <strong>musicnet.tar.gz</strong> - This file contains the MusicNet dataset itself, consisting of PCM-encoded audio wave files (.wav) and corresponding CSV-encoded note label files (.csv). The data is organized according to the train/test split described and used in "Invariances and Data Augmentation for Supervised Music Transcription". [2] <strong>musicnet_metadata.csv</strong> - This file contains track-level information about recordings contained in MusicNet. The data and label files are named with MusicNet ids, which you can use to cross-index the data and labels with this metadata file. <strong>musicnet_midis.tar.gz</strong> - This file contains the reference MIDI files used to construct the MusicNet labels. A PyTorch interface for accessing the MusicNet dataset is available on GitHub. For an audio/visual introduction and summary of this dataset, see the MusicNet inspector, created by Jong Wook Kim. The audio recordings in MusicNet consist of Creative Commons licensed and Public Domain performances, sourced from the Isabella Stewart Gardner Museum, the European Archive Foundation, and Musopen. The provenance of specific recordings and midis are described in the metadata file. [1] Learning Features of Music from Scratch. John Thickstun, Zaid Harchaoui, and Sham M. Kakade. In International Conference on Learning Representations (ICLR), 2017. ArXiv Report. <pre><code>@inproceedings{thickstun2017learning, title={Learning Features of Music from Scratch}, author = {John Thickstun and Zaid Harchaoui and Sham M. Kakade}, year={2017}, booktitle = {International Conference on Learning Representations (ICLR)} }</code></pre> [2] Invariances and Data Augmentation for Supervised Music Transcription. John Thickstun, Zaid Harchaoui, Dean P. Foster, and Sham M. Kakade. In International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2018. ArXiv Report. <pre><code>@inproceedings{thickstun2018invariances, title={Invariances and Data Augmentation for Supervised Music Transcription}, author = {John Thickstun and Zaid Harchaoui and Dean P. Foster and Sham M. Kakade}, year={2018}, booktitle = {International Conference on Acoustics, Speech, and Signal Processing (ICASSP)} }</code></pre>

研究の動機と目的

• 大規模で公開可能なクラシック音楽のラベル付きデータセット（ノートレベルのアライメントを含むMusicNet）を作成し、音楽情報学における監督付き学習を可能にする。
• オーディオセグメント上のマルチラベルノート予測タスクを定義し、評価プロトコルを確立する。
• 生の音声からのエンドツーエンドノート予測のために複数のアーキテクチャ（スペクトログラムベース、MLP、CNN）をベンチマークする。
• エンドツーエンドモデルが学習する低レベル特徴と、それらが従来のスペクトログラム特徴とどのように比較されるかを分析する。
• データセットのサイズとウィンドウ処理が周波数選択特徴の学習に与える影響を調査する。

提案手法

• 音楽家10名と楽器11種にわたる34時間の録音と1,299,329のラベル付きノートを用いてMusicNetを構築する。
• 各オーディオセグメントを128の楽器/ノート組み合わせでラベル付けするマルチラベル分類設定を定義する。
• 生の音声とスペクトログラムベースの特徴量の両方でモデルを訓練し、エンドツーエンドのニューラルネットワークと畳み込みネットワークを含む。
• スペクトログラムのような表現に似た低レベルの周波数選択フィルタを学習する。
• 保有テストセット全体で精度、再現率、平均適合度を用いて評価する。
• 学習特徴の時間-周波数のトレードオフを理解するためにウィンドウサイズの効果と周波数カットオフを探索する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベル付きクラシック音楽データセットはノート転写の効果的な監督学習を可能にするか。
• RQ2 エンドツーエンドモデルはノート予測のためにスペクトログラムと同等の周波数選択特徴を学習するか。
• RQ3 異なるアーキテクチャ（MLP、CNN）はMusicNetのマルチラベルノート予測タスクでどのように性能を発揮するか。
• RQ4 ウィンドウサイズと低周波数フォーカスは alignmentと転写性能にどのような影響を与えるか。
• RQ5 学習された特徴は従来のスペクトログラム表現をどの程度上回るか、または近似するか。

主な発見

• MusicNetは「ノート予測のための教師あり学習」を可能にする1,291,000超の時間的ラベルを含む34時間のラベル付きクラシック音楽を提供する。
• エンドツーエンドモデルはスペクトログラムのような表現に似た周波数選択フィルタを学習し、特定の設定でスペクトログラム特徴を僅かに上回ることができる。
• 二層ネットワークは対数-ReLU活性化を用いて解釈可能な、局所スペクトルパターンに類似した変調サイン波ウェイトを回復する。
• CNNとMLPベースのモデルは顕著な性能を達成し、CNN（64ストライド、16,384サンプル）は表3で最高の平均適合率を記録（67.8%）。
• 学習された特徴は伝統的なスペクトログラムと競合するレベルで、ウィンドウサイズと特徴の低周波数強調に影響を受ける。
• 本研究は大規模データ規模が有用な音楽表現を回復するのに有益であることを強調する。