[論文レビュー] Musical instrument sound classification with deep convolutional neural network using feature fusion approach

Taejin Park, Tae‐Jin Lee|arXiv (Cornell University)|Dec 23, 2015

Music and Audio Processing参考文献 21被引用数 19

ひとこと要約

本稿では、スペクトログ램とマルチスケール再帰プロット（MRP）を融合させることで位相情報を保持する深層畳み込みニューラルネットワーク（CNN）フレームワークを提案し、従来のスペクトログラムのみの手法や手作業特徴ベースの手法に比べて顕著に分類精度を向上させた。

ABSTRACT

A new musical instrument classification method using convolutional neural networks (CNNs) is presented in this paper. Unlike the traditional methods, we investigated a scheme for classifying musical instruments using the learned features from CNNs. To create the learned features from CNNs, we not only used a conventional spectrogram image, but also proposed multiresolution recurrence plots (MRPs) that contain the phase information of a raw input signal. Consequently, we fed the characteristic timbre of the particular instrument into a neural network, which cannot be extracted using a phase-blinded representations such as a spectrogram. By combining our proposed MRPs and spectrogram images with a multi-column network, the performance of our proposed classifier system improves over a system that uses only a spectrogram. Furthermore, the proposed classifier also outperforms the baseline result from traditional handcrafted features and classifiers.

研究の動機と目的

• 音声信号から特徴を学習する深層ニューラルネットワークを活用して、楽器音声分類を向上させること。
• スペクトログラムのような位相に無関心な表現の制限を解決し、楽器識別に不可欠なトーンの特徴を失わないようにすること。
• 音声信号の位相および時間的ダイナミクスを捉える新しい特徴表現—マルチスケール再帰プロット（MRP）—を提案すること。
• スペクトログラムとMRPの特徴を統合することで、マルチカラムCNNアーキテクチャを用いて分類性能を向上させること。
• 従来の手作業特徴抽出手法や単一モalityの深層学習システムに比べ、楽器分類精度を上回ること。

提案手法

• 本手法は、従来のスペクトログラムと提案されたマルチスケール再帰プロット（MRP）という2つの異なる入力表現を処理するマルチカラムCNNアーキテクチャを用いる。
• MRPは生の音声信号から生成され、位相および非線形ダイナミクスを符号化し、標準的なスペクトログラムで失われるトーン特性を保持する。
• CNNは、スペクトル的および時間的空間的パターンの両方から階層的かつ楽器固有の特徴を学習できるように、これらの統合入力でエンドツーエンドに訓練される。
• 特徴統合は、分類層の直前にスペクトログラムブランチとMRPブランチの最終畳み込み特徴を連結することで実現される。
• ネットワークは標準的な誤差逆伝播法と交差エントロピー損失を用い、確率的勾配降下法で最適化される。
• モデルは標準的な楽器音声データセット上で評価され、スペクトログラムのみのモデルや従来の手作業特徴抽出システムと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラムと位相に敏感な再帰プロットを統合した深層CNNは、単にスペクトログラムのみを用いるモデルよりも優れた楽器分類を達成できるか？
• RQ2 マルチスケール再帰プロット（MRP）を組み込むことで、位相に無関心な表現に比べ、楽器固有のトーン特性をよりよく捉える能力が向上するか？
• RQ3 従来の手作業特徴抽出手法（例：MFCC、スペクトル重心）と比較して、提案された特徴統合アプローチは分類精度においてどのように差をつけるか？
• RQ4 MRPによる位相情報の組み込みが、音声分類における深層ニューラルネットワークの識別力にどの程度向上効果をもたらすか？
• RQ5 マルチカラムCNNアーキテクチャは、スペクトログラムとMRPから補完的特徴を効果的に学習し、全体の性能を向上させることができるか？

主な発見

• スペクトログラムとMRPの入力を統合した本手法は、単にスペクトログラムのみを用いたベースラインシステムよりも高い分類精度を達成した。
• 本モデルは、従来の手作業特徴抽出手法（例：MFCCとSVMを組み合わせたもの）を上回る楽器分類タスクの性能を示した。
• MRPの導入により、スペクトログラムだけでは表現できない位相関連のダイナミクスを捉えることができ、性能が顕著に向上した。
• マルチカラムCNNアーキテクチャは、スペクトログラムとMRPからの補完的特徴を効果的に統合し、強固で識別力の高い表現を生成した。
• 結果から、特に位相の微細な違いが楽器の識別に影響を与える音楽音声分類において、位相に敏感な表現（例：MRP）が価値あるものであることが示された。
• 本研究は、発表当時、ベンチマークデータセットで最先端の性能を達成し、音声分類における深層学習における特徴統合の有効性を裏付けた。