[論文レビュー] Combining High-Level Features of Raw Audio Waves and Mel-Spectrograms for Audio Tagging

Marcel Lederle, Benjamin Wilhelm|arXiv (Cornell University)|Nov 26, 2018

Music and Audio Processing参考文献 15被引用数 6

ひとこと要約

本論文では、1次元および2次元畳み込みニューラルネットワーク（1D-CNNと2D-CNN）を用いて、生の音声波形とメルスペクトログ램からのハイレベル特徴を別々に抽出し、その後、全結合層による特徴の統合を経て、1つのモデルで音声タギングを実行する手法を提案する。この手法は、KaggleのFreesound General-Purpose Audio Tagging Challengeにおいて、プライベートテストセットで0.948 mAP@3のスコアを達成し、上位2%のパフォーマンスを記録した。

ABSTRACT

In this paper, we describe our contribution to Task 2 of the DCASE 2018 Audio Challenge. While it has become ubiquitous to utilize an ensemble of machine learning methods for classification tasks to obtain better predictive performance, the majority of ensemble methods combine predictions rather than learned features. We propose a single-model method that combines learned high-level features computed from log-scaled mel-spectrograms and raw audio data. These features are learned separately by two Convolutional Neural Networks, one for each input type, and then combined by densely connected layers within a single network. This relatively simple approach along with data augmentation ranks among the best two percent in the Freesound General-Purpose Audio Tagging Challenge on Kaggle.

研究の動機と目的

• 生の音声とメルスペクトログラムからの補完的表現を活用することで、音声タギングのパフォーマンスを向上させること。
• 予測の統合に依存するアンサンブル手法の代替として、学習済み特徴を統合する1つのモデルを構築すること。
• 手作業で設計された特徴の限界を克服し、タスク固有のディープラーニング特徴を用いること。
• 両方の入力タイプからのハイレベル特徴の共同学習が、多様な音声カテゴリにわたる一般化性能を向上させることを示すこと。

提案手法

• ストライド付き畳み込みとマックスプーリングを用いて、生の音声波形を1次元畳み込みニューラルネットワーク（1D-CNN）で学習し、時間的・周波数的特徴を抽出する。
• 対数スケールのメルスペクトログラムを入力として、バッチ正規化とReLU活性化関数を用いた標準的な畳み込みブロックを用いて2次元畳み込みニューラルネットワーク（2D-CNN）を学習する。
• 両ネットワークから得られるハイレベル特徴を、1つの統合モデル内で全結合層を介して統合する。
• Freesoundデータセット全体におけるロバスト性と一般化性能を向上させるために、データ拡張を適用する。
• 1次元および2次元音声表現に適応された、VGGおよびAlexNetをインspiredした共通のアーキテクチャ設計を採用する。
• 収束とパフォーマンス最適化のため、トレーニング中に早期停止と学習率スケジューリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 生の音声とメルスペクトログラムからのハイレベル特徴を統合することで、単一入力モデルよりも音声タギングのパフォーマンスが向上するか？
• RQ2 個別のモデルから得た予測を統合するアンサンブル手法よりも、1つの統合モデルが優れた性能を示すか？
• RQ3 特定の音声カテゴリに対して、生の音声とメルスペクトログラムのどちらのモodalがより判別力のある特徴を提供するか？
• RQ4 特徴統合は、『スクリーン』や『花火』のような困難なクラスにおいて、どの程度パフォーマンスを向上させるか？

主な発見

• 統合モデル（cnn-comb）は、プライベートテストセットで0.948 mAP@3のスコアを達成し、Freesoundコンテストの上位2%にランクインした。
• 2秒の入力長が最良のパフォーマンスを示し、プライベートセットで0.948 mAP@3を記録した。これは、個別のモデルを上回った。
• 2秒バージョンのモデルは、全テストセットで0.956 mAP@3を達成し、優れた一般化性能を示した。
• 『スクリーン』や『花火』のような分類が難しいカテゴリにおいても、統合モデルは両方の単一モデル（cnn-audioおよびcnn-spec）を一貫して上回った。
• アブレーションスタディの結果、性能向上は単なるモデル平均化によるものではなく、特徴の共同利用に起因することが確認された。一方の入力をゼロにした場合、性能が著しく低下した。
• 13のクラスで1.000 mAP@3を達成し、『拍手』『ベースドラム』『げっぷ』など、明確で特徴的な音声において高い信頼性を示した。