[論文レビュー] Graph Representation learning for Audio & Music genre Classification.

Shubham Dokania, Vasudev Singh|arXiv (Cornell University)|Oct 23, 2019

Music and Audio Processing参考文献 33被引用数 6

ひとこと要約

本稿では、音声および音楽ジャンル分類のため、自己符号化ネットワークとグラフ表現学習を組み合わせた新規なグラフニューラルネットワーク（GNN）フレームワーク、GrahAMを提案する。スペクトログラムをノードとしてモデル化し、シアン方式の類似度を用いてエッジ重みを学習することで、GTZANでは99.5%、不均衡なAudioSetデータセットでは91.3%の最先端の精度を達成し、特徴表現の向上と関係的インダクティブバイアスにより、先行手法を上回る性能を発揮する。

ABSTRACT

Music genre is arguably one of the most important and discriminative information for music and audio content. Visual representation based approaches have been explored on spectrograms for music genre classification. However, lack of quality data and augmentation techniques makes it difficult to employ deep learning techniques successfully. We discuss the application of graph neural networks on such task due to their strong inductive bias, and show that combination of CNN and GNN is able to achieve state-of-the-art results on GTZAN, and AudioSet (Imbalanced Music) datasets. We also discuss the role of Siamese Neural Networks as an analogous to GNN for learning edge similarity weights. Furthermore, we also perform visual analysis to understand the field-of-view of our model into the spectrogram based on genre labels.

研究の動機と目的

• 音楽ジャンル分類における限られたおよび不均衡な音声データの課題に対処すること。
• 音声セグメント間の微細な類似度を捉えることで、スペクトログラム内の特徴表現を向上させること。
• 局所的な空間的パターンを超えて、音声サンプル間の関係的構造をモデル化するため、グラフニューラルネットワークを活用すること。
• 画像ベースのデータオーグメンテーションに依存せず、表現能力を最大限に引き出すデータ効率の良い手法を開発すること。

提案手法

• 本手法は、共有重みを持つシアンネットワークを用いて、MELスペクトログラムから頑健で判別力のある埋め込みを学習し、音声ペアの比較を可能にする。
• グラフ内のエッジ重みは、シアン類似度関数 sij = Λ(φ(xi), φ(xj)) を用いて学習される。ここで φ は特徴抽出器（XceptionNet）であり、Λ はトップコネクティング層である。
• グラフ畳み込み層は、メッセージパッシングを用いてノードおよびエッジ特徴を処理する：h_i^{(l+1)} = σ(∑_{j∈N(i)} W_l * h_j^{(l)} + b_l)。特徴は距離およびドット積演算からの連結によって得られる。
• ノード分類のためのグラフニューラルネットワーク（GNN）を用い、各スペクトログラムセグメントを学習済み埋め込みを持つノードとして扱う。
• バランスの取れた学習を確保するため、全組み合わせから正例および負例ペアの一部をサンプリングし、類似ペアと非類似ペアの比率を1:1に維持する。
• 視覚的解釈性を向上させるために、Grad-CAMを用いて、ジャンル予測に寄与する周波数-時間領域を強調するヒートマップを生成する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、音声スペクトログラムにおける関係的構造を効果的にモデル化でき、ジャンル分類の性能向上に寄与するか？
• RQ2 シアンネットワークとGNNを組み合わせることで、単独のCNNや従来の分類器と比較して、特徴表現がどのように向上するか？
• RQ3 ジャンル境界が曖昧な、不均衡で複雑な音声データセット（例：AudioSet）において、GNNはどの程度一般化可能か？
• RQ4 スペクトログラムのどの領域がジャンル分類において予測に最も寄与しているか？また、それらは人間の知覚と一致するか？

主な発見

• GrahAMはGTZANデータセットで99.5%の最先端の精度を達成し、放送メカニズム（93.9%）やマルチ-DNN（93.4%）といった先行手法を大きく上回る。
• 不均衡なAudioSetデータセットでは、1クラスあたり100件のラベル付きサンプルで学習した場合に91.3%の精度を達成し、ランダムフォレスト（86.0%）および2層のニューラルネットワーク（87.0%）を上回る。
• t-SNE可視化により、GrahAMが学習した特徴は、単独のシアンネットワークよりもより緊密で分離性の高いクラスタを形成していることが示され、特徴表現学習の向上が裏付けられる。
• Grad-CAMヒートマップは、周波数-時間ドメインにおけるテクスチャパターンがジャンル分類に重要であることを一貫して強調しており、孤立した周波数帯域ではなく、局所的パターンが重要であることを示している。
• 本手法は、小規模なラベル付きスプリット（例：1クラスあたり30、50、100サンプル）でも高い性能を維持しており、優れたデータ効率性を示している。
• スペクトログラムピxlsの意味的感度を考慮し、画像ベースのデータオーグメンテーションを回避することで、音声固有の情報の整合性を保っている。