[論文レビュー] Automatic tagging using deep convolutional neural networks

Keunwoo Choi, George Fazekas+1 more|arXiv (Cornell University)|Jun 1, 2016

Multimodal Machine Learning Applications参考文献 18被引用数 221

ひとこと要約

この論文は、内容ベースの自動音楽タグ付けを実行するための2D畳み込みを用いた完全畳み込みネットワーク（FCN）を提案しており、メルスペクトログラム入力が最先端の結果を生むこと、そしてより深いモデルはより多くのデータから恩恵を受けることを示している。

ABSTRACT

We present a content-based automatic music tagging algorithm using fully convolutional neural networks (FCNs). We evaluate different architectures consisting of 2D convolutional layers and subsampling layers only. In the experiments, we measure the AUC-ROC scores of the architectures with different complexities and input types using the MagnaTagATune dataset, where a 4-layer architecture shows state-of-the-art performance with mel-spectrogram input. Furthermore, we evaluated the performances of the architectures with varying the number of layers on a larger dataset (Million Song Dataset), and found that deeper models outperformed the 4-layer architecture. The experiments show that mel-spectrogram is an effective time-frequency representation for automatic tagging and that more complex models benefit from more training data.

研究の動機と目的

• 完全畳み込みニューラルネットワークが、全結合層なしで多ラベル音楽タグ付けを実行できることを示す。
• 入力表現（メルスペクトログラム、STFT、MFCC）をタグ付け性能の観点から評価する。
• モデルの深さ（3〜7層）が異なるデータセットで性能に与える影響を評価する。
• メルスペクトログラムが自動タグ付けのための代替表現を上回ることを示す。
• トレーニングデータの規模が深いアーキテクチャの利点にどのように影響するかを調査する。

提案手法

• 最大プーリングを伴う3–7層の畳み込み層からなる完全畳み込みネットワークを用い、50次元のタグベクトルを生成する。
• 入力表現にはメルスペクトログラム、STFT、MFCCを含む；タグ付けにはメルスペクトログラムが推奨される。
• シグモイド出力と二値交差エントロピー損失で多ラベルデータに対処して学習する。
• 収束性の向上と過学習防止のためにバッチ正規化とドロップアウトを適用する。
• MagnaTagATune（50タグ）と Million Song Dataset（上位50タグ）でアーキテクチャを評価し、AUCを性能指標とする。
• 局所的な時-周波数構造と全クリップにわたる時間的非線形アグリゲーションを捉えるために2D畳み込みを適用する。

実験結果

リサーチクエスチョン

• RQ1 異なる入力表現に対して、FCNベースのアーキテクチャは自動音楽タグ付けでどのように性能を発揮するか。
• RQ2 より深いネットワーク深さはタグ付け性能を向上させるか；この効果はトレーニングデータのサイズに依存するか。
• RQ3 FCNを用いた自動タグ付けではメルスペクトログラム入力がSTFTやMFCCより優れているか。
• RQ4 データセット規模（MagnaTagATune vs MSD）とモデル深さが多ラベルタグ付け性能にどのように相互作用するか。

主な発見

Architecture	Input	AUC
FCN-3	mel-spectrogram	0.852
FCN-4	mel-spectrogram	0.894
FCN-5	mel-spectrogram	0.890
FCN-4	STFT	0.846
FCN-4	MFCC	0.862
FCN-3	mel-spectrogram	0.786
FCN-4	mel-spectrogram	0.808
FCN-5	mel-spectrogram	0.848
FCN-6	mel-spectrogram	0.851
FCN-7	mel-spectrogram	0.845

• MagnaTagATune で、mel-spectrogram 入力を用いた FCN-4 は AUC 0.894 を達成し、いくつかの従来法を上回る。
• MagnaTagATune のタスクでは、mel-spectrogram 入力が一貫して STFT および MFCC 入力を上回る。
• より深いアーキテクチャ（FCN-5）は MagnaTagATune で FCN-4 よりわずかな向上を示し、限られたデータではリターンの低下を示唆する。
• Million Song Dataset では、FCN-5, FCN-6, FCN-7 などのより深いモデルが FCN-4 を大きく上回り、より大きなデータセットが深いネットワークに利をもたらすことを示している。
• FCN-6 が MSD で最高のパフォーマンスを AUC 0.851 で達成し、FCN-7 はこの設定で FCN-6 をやや下回る。
• 全体として、より多くのトレーニングデータが深いモデルに利益をもたらし、メルスペクトログラムは自動タグ付けのための有効な時-周波数表現である。