[論文レビュー] Convolutional Neural Network Achieves Human-level Accuracy in Music Genre Classification

Mingwen Dong|arXiv (Cornell University)|Feb 27, 2018

Music and Audio Processing被引用数 9

ひとこと要約

本論文では、聴覚系にインspiredされた特徴を活用して、3秒間のメルスペクトログ램セグメントを処理することで、10ジャンル音楽分類において人間水準の70%の正確性を達成する畳み込みニューラルネットワーク（CNN）を提案する。この手法は音楽を重複するセグメントに分割し、STRFに類似したフィルタを備えたCNNを適用し、予測を統合することで、先行手法を上回り、人間の知覚メカニズムを模倣する。

ABSTRACT

Music genre classification is one example of content-based analysis of music signals. Traditionally, human-engineered features were used to automatize this task and 61% accuracy has been achieved in the 10-genre classification. However, it's still below the 70% accuracy that humans could achieve in the same task. Here, we propose a new method that combines knowledge of human perception study in music genre classification and the neurophysiology of the auditory system. The method works by training a simple convolutional neural network (CNN) to classify a short segment of the music signal. Then, the genre of a music is determined by splitting it into short segments and then combining CNN's predictions from all short segments. After training, this method achieves human-level (70%) accuracy and the filters learned in the CNN resemble the spectrotemporal receptive field (STRF) in the auditory system.

研究の動機と目的

• ディープラーニングを用いて、音楽ジャンル分類で人間水準の正確性を達成すること。
• 人間の聴覚知覚および神経生理学的知見を、ディープラーニングモデルと結びつけること。
• 手作業で特徴を設計しない、生の音声を用いたスケーラブルで効率的な音楽ジャンル分類手法を開発すること。
• CNNのフィルタが、人間の聴覚系に観察されたスペクトロテンポラル受容場（STRF）に類似した特徴を学習するかどうかを調査すること。
• エンジニアリングされた特徴や短いセグメントを用いた先行の最良手法を超える分類性能を向上させること。

提案手法

• 波形を23msのハニング窓を用いてメルスペクトログラムに変換し、50%のオーバーラップをとる。
• 動的レンジを正規化し、人間の聴覚知覚に適応させるために、メルスペクトログラムを対数変換する。
• 2次元CNNを用い、3×3および3×5のフィルタ、マックスプーリング（2×4）、ReLU活性化関数を用いて階層的特徴を抽出する。
• 完全結合層に32および10のニューロン、ソフトマックス出力、L2正則化およびドロップアウトを適用し、過学習を防ぐ。
• 訓練は、訓練トラックから抽出した3秒セグメントを用い、確率的勾配降下法で行い、元の音楽のラベルを用いる。
• フルトラックのジャンル予測は、すべての重複する3秒セグメントにおける予測確率を平均化することで行う。

実験結果

リサーチクエスチョン

• RQ1 短い音声セグメントで訓練されたCNNは、10ジャンル音楽分類において人間水準の性能を達成できるか？
• RQ2 CNNが学習するフィルタは、人間の聴覚系に観察されたスペクトロテンポラル受容場（STRF）に類似しているか？
• RQ3 CNNが学習する表現は、生のメルスペクトログラムと比較して、ジャンル分類においてより線形分離可能か？
• RQ4 全体として人間水準の性能を達成しているにもかかわらず、カントリーとロックのジャンルでは分類正確性が低くなるのはなぜか？
• RQ5 セグメント単位の処理を用いた分割統治アプローチは、フル音楽信号の高次元性を克服できるか？

主な発見

• 提案されたCNNは、10ジャンル分類タスクで70%の正確性を達成し、3秒間の強制選択タスクにおける人間の性能と一致する。
• 先行手法（PCAホワイトニングされたスペクトログラムを用い、5ジャンルタスクで70%の正確性を達成）を上回り、10ジャンルをより高い正確性で分類する。
• CNNの畳み込み層が学習するフィルタは、生理学的研究で観察されたSTRFと視覚的に類似しており、生物学的妥当性を示唆する。
• CNNの最終隠れ層による変換後、テストデータポイントは生のメルスペクトログラム空間と比較して著しく線形分離可能になることが、LDA射影によって示された。
• カントリーとロックのジャンルでは正確性が平均未満であり、3秒セグメントでは捉えきれない長期的なリズム的またはビート的特徴に依存している可能性がある。
• メルスペクトログラム表現とセグメントベース処理を通じて、次元削減を効果的に行いながら、知覚的に関連する特徴を保持できる。