[論文レビュー] Explaining Deep Convolutional Neural Networks on Music Classification

Keunwoo Choi, George Fazekas+1 more|arXiv (Cornell University)|Jul 8, 2016

Music and Audio Processing参考文献 2被引用数 32

ひとこと要約

この論文は、音声分類のための深層畳み込みニューラルネットワーク（CNN）の聴覚化を提案し、特徴マップから逆畳み込みスペクトログラムを再構成することで、学習された特徴を解釈する。再構成された信号を聴取し、特徴の相関を分析することで、より深い層が単純な形状ではなく、堅牢で抽象的なテクスチャを学習していることが明らかになった。層を経て、特徴はキー、コード、楽器の変化に対してますます不変性を示すようになる。

ABSTRACT

Deep convolutional neural networks (CNNs) have been actively adopted in the field of music information retrieval, e.g. genre classification, mood detection, and chord recognition. However, the process of learning and prediction is little understood, particularly when it is applied to spectrograms. We introduce auralisation of a CNN to understand its underlying mechanism, which is based on a deconvolution procedure introduced in [2]. Auralisation of a CNN is converting the learned convolutional features that are obtained from deconvolution into audio signals. In the experiments and discussions, we explain trained features of a 5-layer CNN based on the deconvolved spectrograms and auralised signals. The pairwise correlations per layers with varying different musical attributes are also investigated to understand the evolution of the learnt features. It is shown that in the deep layers, the features are learnt to capture textures, the patterns of continuous distributions, rather than shapes of lines.

研究の動機と目的

• 音楽ジャンル分類のためのスペクトログラムに適用された深層CNNが、どのように表現を学習するかを理解すること。
• ジャンルや気分分類のような主観的な音楽タスクにおけるCNNの解釈不能性の問題を解決すること。
• 特徴を再構成して聴覚可能な信号に変換することで、従来のデコンボリューションベースの可視化を拡張し、直感的な解釈を可能にすること。
• 音楽的属性への反応として、ネットワーク層を横断した特徴表現の進化を分析すること。
• キー、コード、楽器の変化に対して学習された特徴の頑健性を評価すること。

提案手法

• 5層のCNNで訓練されたモデルの各層の特徴マップから、デコンボリューションを適用してスペクトログラムを再構成する。
• 逆STFT（短時間フーリエ変換）をデコンボリュートドスペクトログラムに適用し、時間領域の音声信号を再構成することで、聴覚化を実現する。
• 楽器、コードタイプ、キーの変化を制御したモデル信号を用いて、特徴応答を体系的に調査する。
• 異なる音楽的属性の条件下での特徴活性化のペアワイズ相関を計算し、頑健性を評価する。
• デコンボリュートドスペクトログラムと聴覚化された音声を可視化・解釈することで、学習されたフィルタに音楽的意味を割り当てる。
• 層を経て、低レベルのパターン（エッジ、線）から高レベルのテクスチャや調性・リズム的構造へと特徴の進化を分析する。

実験結果

リサーチクエスチョン

• RQ1 音楽分類タスクにおけるCNNの学習された特徴は、ネットワーク層を経てどのように進化するか？
• RQ2 学習された特徴は、キー、コードタイプ、楽器の変化に対してどの程度頑健か？
• RQ3 デコンボリュートド特徴の聴覚化は、スペクトログラム可視化のみに比べて、より直感的な理解を提供できるか？
• RQ4 より深い層のフィルタは、どのような音楽的構造に反応するか？
• RQ5 最終層の高レベル特徴は、特定の形状や周波数ではなく、抽象的で不変なパターンを表しているか？

主な発見

• より深い層では、CNNのフィルタは離散的な形状やエッジではなく、連続的なテクスチャや調性・リズム的パターンを検出するよう学習する。
• 特徴応答はキーの変更に対してますます頑健になり、特にLayer 5で最高の相関を示し、トランスポジションに対して不変であることが示された。
• 楽器の変化に対しては、初期層（Layer 1）で最も感受性が高く、より深い層に進むにつれて頑健性が向上し、Layer 5ではコードの変化に対する頑健性に近づく。
• コードタイプの変化は初期段階（Layer 1）で最も強い影響を及ぼすが、より深い層に進むにつれて、異なるコードタイプ間での特徴応答の相関が高まり、不変性が増す。
• 特徴5-56は、重複する強い打撃的要素とハーモニックパターンに特に対応しており、これは特徴が明確にジャンル関連のテクスチャを捉えていることを示唆している。
• 聴覚化プロセスにより、フィルタの直接的な聴覚的解釈が可能となり、高レベル特徴が単純なスペクトル的形状ではなく、複雑で抽象的な音楽的テクスチャに対応していることが明らかになった。