[論文レビュー] Raw Waveform-based Audio Classification Using Sample-level CNN Architectures

Jongpil Lee, Tae‐Jun Kim+2 more|arXiv (Cornell University)|Dec 4, 2017

Music and Audio Processing被引用数 45

ひとこと要約

本論文では、スペクトログ램の前処理を経ずに、生波形を直接処理する小型のサンプルレベルフィルタを用いたエンドツーエンドの深層畳み込みニューラルネットワークアーキテクチャ、SampleCNN および ReSE-2-Multi を提案する。これらのモデルは、小規模な受容 field、残差接続、squeeze-and-excitation モジュール、およびマルチレベル特徴の連結を活用し、スペクトログラムの前処理なしに、音楽の自動タグ付け、音声コマンド認識、音響シーン分類の分野で最先端の性能を達成する。

ABSTRACT

Music, speech, and acoustic scene sound are often handled separately in the audio domain because of their different signal characteristics. However, as the image domain grows rapidly by versatile image classification models, it is necessary to study extensible classification models in the audio domain as well. In this study, we approach this problem using two types of sample-level deep convolutional neural networks that take raw waveforms as input and uses filters with small granularity. One is a basic model that consists of convolution and pooling layers. The other is an improved model that additionally has residual connections, squeeze-and-excitation modules and multi-level concatenation. We show that the sample-level models reach state-of-the-art performance levels for the three different categories of sound. Also, we visualize the filters along layers and compare the characteristics of learned filters.

研究の動機と目的

• スペクトログラムに基づく特徴工学を経ずに、生波形を直接分類できるエンドツーエンドの深層学習モデルの開発。
• 多様な音声ドメインにわたり、小さなサンプルレベルの畳み込みフィルタが、効果的に判別可能な音声表現を学習できるかどうかの調査。
• 残差接続、squeeze-and-excitation モジュール、およびマルチレベル特徴の統合を用いて、モデル性能の向上を図る。
• ネットワーク内の学習済みフィルタが、音楽、音声、環境音のそれぞれの特性に対してどのように反応するかを可視化・分析する。
• 一貫した前処理を用いて、複数の音声分類ベンチマークにおいて、波形ベースのモデルの汎化能力を評価する。

提案手法

• 生波形入力を想定した、1次元畳み込みニューラルネットワーク（1D-CNN）である SampleCNN を提案。フィルタサイズは1サンプルの小型フィルタ、バッチ正規化、マックスプーリング層を備える。
• 深層ネットワークの学習を可能にするために、SampleCNN に残差接続を追加し、ReSE-2-Multi に発展。
• グローバル平均プーリングと学習可能なゲーティング機構を用いて特徴マップを再スケーリングする squeeze-and-excitation（SE）モジュールを統合。
• 異なる抽象化レベルからの表現を統合するため、マルチレベル特徴の連結を適用し、分類性能の向上を図る。
• 勾配上昇ベースの活性化最大化法を用い、ネットワークの各層における学習済みフィルタの周波数ドメインでの可視化を実施。
• ドメイン間の一貫性を確保するため、すべてのデータセットを 16,000Hz にリサンプリング。各データセットの入力サイズとブロック数を調整。

実験結果

リサーチクエスチョン

• RQ1 小さなサンプルレベルの1次元畳み込みフィルタは、生波形から直接判別可能な音声表現を効果的に学習できるか？
• RQ2 音楽、音声、音響シーンデータセットの間で、ネットワーク内の学習済みフィルタはどのように異なるか？
• RQ3 残差接続および squeeze-and-excitation モジュールは、生波形ベースの音声分類性能にどの程度向上効果をもたらすか？
• RQ4 マルチレベル特徴の連結は、多様な音声ドメインにおいて分類精度にどのような影響を及えるか？
• RQ5 タスク固有の特徴工学を一切行わず、単一の波形ベースのモデルが複数の音声分類タスクで競争力のある性能を達成できるか？

主な発見

• ReSE-2-Multi は、音楽自動タグ付けベンチマークである MagnaTagATune データセットで AUC 0.9091 の最先端性能を達成し、先行手法を上回った。
• スピークコマンドデータセットでは 86% の精度を達成し、88% の最先端性能に近い結果を示した。
• DCASE 2017 タスク4の音響シーンタグ付けベンチマークでは、インスタンスベースの F スコア 45.1% を達成し、データバランス調整やアンサンブルなしのベースライン CRNN モデルを上回った。
• フィルタの可視化結果から、モデルはメルスペクトログ램に類似した対数周波数感度を学習していることが判明。音楽データでは低周波数に多くのフィルタが集中していた。
• 音響シーン音のフィルタは低周波数に集中しており、シンプルなパターンを示しており、データセットに含まれる交通や警告音の特徴と整合的であった。
• 本研究では、小型フィルタを用いた生波形ベースのモデルが、最小限の前処理で音楽、音声、環境音のドメインにわたって汎化可能であることを示した。