[論文レビュー] Sample-level Deep Convolutional Neural Networks for Music Auto-tagging Using Raw Waveforms

Jongpil Lee, Ji Young Park+2 more|arXiv (Cornell University)|Mar 6, 2017

Music and Audio Processing参考文献 17被引用数 104

ひとこと要約

本論文は、生の波形を入力とするサンプルレベルの DCNN を音楽自動タグ付けに適用し、MTATとMSDにおいてメルスペクトログラムベースの手法と同等または最先端と同等の結果を達成し、初層フィルタが小さい深いアーキテクチャ（10層以上）を探索する。

ABSTRACT

Recently, the end-to-end approach that learns hierarchical representations from raw data using deep convolutional neural networks has been successfully explored in the image, text and speech domains. This approach was applied to musical signals as well but has been not fully explored yet. To this end, we propose sample-level deep convolutional neural networks which learn representations from very small grains of waveforms (e.g. 2 or 3 samples) beyond typical frame-level input representations. Our experiments show how deep architectures with sample-level filters improve the accuracy in music auto-tagging and they provide results comparable to previous state-of-the-art performances for the Magnatagatune dataset and Million Song Dataset. In addition, we visualize filters learned in a sample-level DCNN in each layer to identify hierarchically learned features and show that they are sensitive to log-scaled frequency along layer, such as mel-frequency spectrogram that is widely used in music classification systems.

研究の動機と目的

• 対数振幅圧縮と位相不変性の問題に対処するため、音楽自動タグ付けのために生波形から直接行うエンドツーエンド学習を動機づける。
• 非常に小さな第一層フィルターと深い深さを用いて階層的な音声表現を学習するサンプルレベルDCNNを導入・評価する。
• サンプルレベルの生波形DCNNを、フレームレベルのメルスペクトログラムおよびフレームレベルの生波形、及び従来の最先端結果と比較する。
• 生波形から学習した10層を超える深いアーキテクチャが競争力のある性能を達成し、層ごとの学習フィルターを可視化できることを示す。

提案手法

• 3つのCNNモデル構成を導入する：フレームレベルのメルスペクトログラム、フレームレベルの生波形、サンプルレベルの生波形DCNN。
• 下層の処理を複数の小さなフィルターと最大プーリングモジュールに置換して、サンプルレベルの粒度（2-3サンプル程度）とより深いネットワークを可能にする。
• 第一層フィルター長とストライドを系統的に変化させる（2-3サンプル）、深さを m^n（m ∈ {2,3,4,5}、nは最大9–13）とすることでAUCへの影響を研究する。
• シグモイド出力と二値交差エントロピー損失で訓練し、バッチ正規化とReLUを用い、最後の畳み込み層にドロップアウト、Nesterovモーメントを用いたSGDと学習率スケジューリングを行う。
• MagnaTagATune (MTAT) と Million Song Dataset (MSD)を評価対象とし、22.05 kHz、29.1秒にトリムした楽曲を使用、主指標はAUC。
• 勾配上昇に基づく活性化最大化を用いて学習フィルターを視覚化し、層を跨ぐ階層的スペクトル特性を示す。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのサンプルレベルDCNNを生波形で訓練し、メルスペクトログラムベースのアプローチと比較して自動タグ付け性能を競争力のあるものにできるか。
• RQ2 深さを増し、小さな第一層フィルターで音楽自動タグ付けの性能はMTATとMSDで改善されるか。
• RQ3 生波形で訓練した際、層を超えた学習フィルターの特性はどのようになり、周波数表現とどのように関連するか。
• RQ4 入力セグメント長と第一層のストライドは、サンプルレベルDCNNの性能にどう影響するか。

主な発見

モデル	MTAT AUC	MSD AUC
サンプルレベル DCNN（3^9 モデル、59049 サンプル入力）	0.9055	0.8812

• サンプルレベルDCNNは、第一層フィルターを非常に小さく（2-3サンプル程度）し、深さを増すことで、MTATで最大0.9055のAUCを達成する同等性を示し、59049サンプル入力でメルスペクトログラム最先端の結果と同等。
• MTATでは、最良の m^n 構成は m=3、n=9 で、入力サイズを問わず高い性能を示し、深さの利点を実証。
• MSDでは第一畳み込み層のフィルタ数を増やすと性能が向上し、モデルは0.8812のAUCを達成。
• フレームレベルのメルスペクトログラムモデルと比較して、サンプルレベルの生波形DCNNは同等の結果を達成し、フレームレベルの生波形モデルは深さと表現力が不足すると効果が低い。
• 学習済みフィルターの視覚化は、層を追うごとに中心周波数が高くなる傾向を示し、メルスケール傾向に類似した階層的で周波数認識的な表現を示す。
• サンプルレベルのアプローチは、時系列フィルターを小さくした深いネットワークが、生波形からポリフォニックな音楽表現を効果的に学習できることを示す。