[論文レビュー] Automatic Instrument Recognition in Polyphonic Music Using Convolutional Neural Networks

Peter Li, Jiyuan Qian+1 more|arXiv (Cornell University)|Nov 17, 2015

Music and Audio Processing参考文献 5被引用数 32

ひとこと要約

本稿では、手作業で設計された特徴量を経由せずに、生の音声を直接処理するエンド・ツー・エンドの畳み込みニューラルネットワーク（CNN）を提案し、多音楽器音楽における自動的な楽器識別を実現する。モデルは82.74%の正確性を達成し、MFCCとロジスティック回帰またはランダムフォレストを用いた従来手法を上回る。深層学習が分野特化の特徴量設計を必要とせずとも、従来のMIR手法と同等またはそれを上回る性能を発揮できることを示している。

ABSTRACT

Traditional methods to tackle many music information retrieval tasks typically follow a two-step architecture: feature engineering followed by a simple learning algorithm. In these "shallow" architectures, feature engineering and learning are typically disjoint and unrelated. Additionally, feature engineering is difficult, and typically depends on extensive domain expertise. In this paper, we present an application of convolutional neural networks for the task of automatic musical instrument identification. In this model, feature extraction and learning algorithms are trained together in an end-to-end fashion. We show that a convolutional neural network trained on raw audio can achieve performance surpassing traditional methods that rely on hand-crafted features.

研究の動機と目的

• 手作業で設計された特徴量に依存する従来の音楽情報検索（MIR）手法の限界を是正すること。
• 生の音声入力を用いたエンド・ツー・エンドの深層学習が、楽器識別において優れた性能を発揮できるかどうかを調査すること。
• 畳み込みニューラルネットワークが中間の特徴量設計を経ずに、波形から直接効果的な音声表現を学習できるかどうかを示すこと。
• MFCCと古典的分類器（ロジスティック回帰やランダムフォレスト）を用いた標準的なMIRベースラインと比較して、提案モデルの性能を評価すること。

提案手法

• ReLU活性化関数、マックスプーリング、ドロップアウトを用いた3層の時系列畳み込みアーキテクチャを採用する。
• 各畳み込み層は生の音声に学習可能なフィルタを適用し、スタックされた演算によって階層的な特徴を抽出する。
• 最終層は2つの全結合層で構成され、11種類の楽器の存在確率スコアを出力する。
• 11種類の楽器クラスに対するマルチラベル分類を最適化するため、バイナリ・クロスエントロピー損失を用いてネットワークを学習させる。
• 学習の高速化を図るため、入力音声はグローバルコントラスト正規化を施して前処理する。
• ラベルは、楽器の活性化信頼度の100ms移動平均の最大値を計算し、0.5のしきい値を用いてクリップ単位での存在を定義する。

実験結果

リサーチクエスチョン

• RQ1 生の音声を入力として用いた畳み込みニューラルネットワークは、MFCCなどの手作業特徴量に依存する従来のMIRシステムを上回る性能を発揮できるか？
• RQ2 波形に直接学習させるエンド・ツー・エンドの深層学習モデルは、意味のある聴覚的表現を学習できるか？
• RQ3 生の音声を入力として学習したCNNの性能は、MFCCと標準的分類器（ロジスティック回帰やランダムフォレスト）を用いた古典的モデルと比べてどうか？
• RQ4 最初の畳み込み層が学習するフィルタはどのようなものであり、既知の聴覚フィルターバンクに類似しているか？
• RQ5 明示的な特徴量設計を経ずに、多音楽器音楽における楽器検出に一般化できるか？

主な発見

• CNNモデルは楽器識別で82.74%の正確性を達成し、最良のベースライン（MFCC + ランダムフォレスト）の82.13%を上回った。
• モデルはマイクロ-F1スコア0.7208およびマクロ-F1スコア0.6433を達成し、すべての楽器クラスで優れた性能を示した。
• 最初の畳み込み層が周波数選択的フィルタを学習しており、聴覚的関連性のあるフィルターバンクに類似していることが示され、モデルが知覚的に意味のある特徴を学習している可能性が示された。
• モデルの正確一致率は25.78%であり、MFCC + ランダムフォレストベースラインの17.53%を大幅に上回った。
• 学習されたフィルタの可視化分析から、並進パターンが観察され、ネットワークが位相不変で知覚的に意味のある表現を学習していることが示された。
• 結果から、生の音声に対するエンド・ツー・エンドの学習が、分野特化の特徴量設計に依存する従来のMIRパイプラインを上回ることを確認した。