[論文レビュー] Music Genre Classification with ResNet and Bi-GRU Using Visual Spectrograms

Junfei Zhang|arXiv (Cornell University)|Jul 20, 2023

Music and Audio Processing被引用数 6

ひとこと要約

本稿では、音楽ジャンル分類のためのハイブリッドディープラーニングモデルを提案する。このモデルは、ResNetと双方向GRU（Bi-GRU）を組み合わせており、視覚的スペクトログラムを入力として用いる。モデルはメルスペクトログラムを用いて81%の精度を達成し、従来の機械学習手法を上回り、音声表現において空間的特徴（ResNetによる）と時間的特徴（Bi-GRUによる）を併用することの有効性を示している。特に、人間の聴覚認識に整合するため、メルスペクトログラムが優れた性能を示している。

ABSTRACT

Music recommendation systems have emerged as a vital component to enhance user experience and satisfaction for the music streaming services, which dominates music consumption. The key challenge in improving these recommender systems lies in comprehending the complexity of music data, specifically for the underpinning music genre classification. The limitations of manual genre classification have highlighted the need for a more advanced system, namely the Automatic Music Genre Classification (AMGC) system. While traditional machine learning techniques have shown potential in genre classification, they heavily rely on manually engineered features and feature selection, failing to capture the full complexity of music data. On the other hand, deep learning classification architectures like the traditional Convolutional Neural Networks (CNN) are effective in capturing the spatial hierarchies but struggle to capture the temporal dynamics inherent in music data. To address these challenges, this study proposes a novel approach using visual spectrograms as input, and propose a hybrid model that combines the strength of the Residual neural Network (ResNet) and the Gated Recurrent Unit (GRU). This model is designed to provide a more comprehensive analysis of music data, offering the potential to improve the music recommender systems through achieving a more comprehensive analysis of music data and hence potentially more accurate genre classification.

研究の動機と目的

• 大規模な音楽ストリーミングプラットフォームにおける手動による音楽ジャンル分類の限界を解消すること。
• 手作業で特徴を抽出する従来の機械学習モデルが、複雑な音声パターンを捉えられないという欠点を克服すること。
• ディープラーニングを用いて、自動的で正確かつ頑健な音楽ジャンル分類システムを構築することで、音楽推薦システムを改善すること。
• 視覚的スペクトログラム（特にメルスペクトログラムとSTFT）が、ディープラーニングベースのジャンル分類に適した入力表現として有効であるかを検証すること。
• CNNとRNNを組み合わせたハイブリッドアーキテクチャが、音声データの空間的および時間的特徴を効果的にモデル化できるかを調査すること。

提案手法

• モデルは視覚的メルスペクトログラムを入力として用い、音声信号を畳み込みニューラルネットワークに適した画像形式の表現に変換する。
• スペクトログラム画像からの階層的空間的特徴を抽出するために、残差接続を活用して消失勾配問題を軽減するResNet18バックボーンを採用する。
• ResNetからの出力特徴マップをフラット化し、双方向ゲート付き再帰ユニット（Bi-GRU）に供給することで、スペクトログラムデータ内の時間的連続性をモデル化する。
• ハイブリッドアーキテクチャにより、空間的パターン（例：周波数成分、調性構造）と時間的変化（例：リズムの変化、時間経過に伴う推移）の両方を同時に学習可能となる。
• 交差エントロピー損失関数とAdam最適化法を用いてモデルを訓練し、時間シフトやピッチスケーリングなどのデータ拡張技術を適用してモデルの頑健性を向上させる。
• ImageNetで事前学習されたResNet18を用いることで、音声スペクトログラム入力に対する特徴学習を強化するという、暗黙的な転移学習の活用。

Figure 1 : Raw audio waveform for jazz class

実験結果

リサーチクエスチョン

• RQ1 ResNetとBi-GRUを組み合わせたハイブリッドディープラーニングモデルは、視覚的スペクトログラムを用いて音楽ジャンルを効果的に分類できるか？
• RQ2 スペクトログラム入力を用いた場合、提案モデルの性能はKNN や SVM といった従来の機械学習モデルと比べてどのように異なるか？
• RQ3 スペクトログラム表現の選択（メル vs. STFT）が、ディープラーニングモデルの分類精度に顕著な影響を与えるか？
• RQ4 視覚的スペクトログラム、特にメルスペクトログラムが、人間の聴覚認識とどの程度整合しており、モデル性能を向上させるか？
• RQ5 提案モデルは人間レベルのジャンル分類精度と同等の性能を達成できるか？

主な発見

• 提案されたResNet-Bi-GRUハイブリッドモデルは、メルスペクトログラムを入力として用いた場合、81%のジャンル分類精度を達成し、KNN や SVM といった従来の機械学習モデルを顕著に上回った。
• モデルの性能は人間レベルのジャンル分類精度の70%というベンチマークを上回っており、音楽推薦システムにおける実用的導入の可能性が示された。
• CNN、Bi-GRU、ResNet18、およびハイブリッドResNet-Bi-GRUモデルを含む、すべてのディープラーニングアーキテクチャにおいて、メルスペクトログラムがSTFTスペクトログラムを一貫して上回った。
• スタンドアロンのResNet18 や Bi-GRU と比較して、ハイブリッドアーキテクチャが優れた性能を示し、空間的および時間的モデリングの相乗効果が明確に確認された。
• 視覚的スペクトログラム、特にメルスケールのものについては、人間の聴覚に類似した知覚的関連性があるため、ディープラーニングにおける音楽ジャンル分類の入力として極めて効果的であると示唆された。
• 事前学習済みResNetをスペクトログラム入力に適応させることで、画像分類から音声解析への転移学習の実現可能性が確認された。

Figure 2 : STFT Spectrogram for jazz class