[論文レビュー] Deep Convolutional Neural Network with Mixup for Environmental Sound Classification

Zhichao Zhang, Shugong Xu+2 more|arXiv (Cornell University)|Aug 25, 2018

Music and Audio Processing参考文献 21被引用数 5

ひとこと要約

本稿では、環境音分類のための深層1次元畳み込みニューラルネットワークとミックスアップデータ拡張を提案する。時間的・スペクトル的パターンをより良く捉えるために、標準の3×3フィルタを1次元畳み込みに置き換え、一般化を向上させるためにミックスアップを適用することで、UrbanSound8Kで83.7%という最先端の性能を達成し、ESC-50およびESC-10でも競争力のある結果を得た。

ABSTRACT

Environmental sound classification (ESC) is an important and challenging problem. In contrast to speech, sound events have noise-like nature and may be produced by a wide variety of sources. In this paper, we propose to use a novel deep convolutional neural network for ESC tasks. Our network architecture uses stacked convolutional and pooling layers to extract high-level feature representations from spectrogram-like features. Furthermore, we apply mixup to ESC tasks and explore its impacts on classification performance and feature distribution. Experiments were conducted on UrbanSound8K, ESC-50 and ESC-10 datasets. Our experimental results demonstrated that our ESC system has achieved the state-of-the-art performance (83.7%) on UrbanSound8K and competitive performance on ESC-50 and ESC-10.

研究の動機と目的

• 明言的構造を持たない多様でノイズの多い環境音イベントを分類するという課題に対処すること。
• より深い、学習可能な表現を活用することで、従来の手作業で作成された特徴量や浅いモデルを上回る分類性能を向上させること。
• ミックスアップ正則化が、環境音分類における一般化性とロバスト性を向上させる有効性を検証すること。
• スペクトログラムに類似した音声特徴に最適化された、新たなCNNアーキテクチャを設計し、標準のVGGスタイルのネットワークを上回ること。

提案手法

• ログメルスペクトログ램からの階層的な時間的・スペクトル的特徴を抽出するために、スタックされた1次元畳み込み層およびプーリング層を用いた深層1次元CNNアーキテクチャを提案する。
• 時間軸および周波数軸の両方で局所的パターンをより良くモデル化するため、標準の3×3畳み込みフィルタを1次元フィルタに置き換える。
• 2つの音声サンプルとその対応するラベルの凸結合として訓練サンプルを生成することで、ミックスアップデータ拡張を適用する。
• 混合比を制御するハイパーパrameter α を用い、すべてのデータセットで最適な性能が α=0.2 で得られた。
• 分類のためにグローバル平均プーリングと全結合層を用い、交差エントロピー損失を最適化して訓練する。
• 主成分分析（PCA）を用いて特徴分布を可視化し、ミックスアップがクラス間およびクラス内分離性に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 標準のVGGスタイルのアーキテクチャと比較して、3×3フィルタを1次元畳み込みに置き換えることで、環境音分類の性能が向上するか？
• RQ2 ミックスアップデータ拡張は、環境音データセットにおける分類精度および特徴空間の分布にどのように影響するか？
• RQ3 複数のベンチマークデータセットにわたる環境音分類において、最適なミックスアップハイパーパrameter α は何か？
• RQ4 ミックスアップは、ジャッキハマーとドリル、エンジンアイドリングとサイレンのような類似した音のクラス間の混同を軽減できるか？
• RQ5 一部のクラスペアに悪影響を及ぼす可能性があるにもかかわらず、ミックスアップは特定のクラスの性能を劣化させることなく一般化を向上させるか？

主な発見

• 提案された1次元CNNは、同じ深さのVGGスタイルのネットワークを上回り、ESC-10で88.7%、ESC-50で76.8%、UrbanSound8Kで74.7%の精度を達成したのに対し、VGGスタイルではそれぞれ87.5%、73.3%、73.2%であった。
• ミックスアップとデータ拡張を適用したモデルは、UrbanSound8Kで83.7%という最先端の精度を達成し、以前の手法を上回った。
• ミックスアップは、ジャッキハマー、ドリル、サイレン、エアコンなどのノイズの強いクラス間の混同を顕著に低減し、クラス間分離性を向上させた。
• PCAを用いた特徴可視化により、ミックスアップがクラス内分布をより緊密に、クラス間境界をより明確にしていることが示された。
• 最適なミックスアップハイパーパrameter α は 0.2 であり、3つのデータセットすべてで最高の精度をもたらした：ESC-10で91.7%、ESC-50で83.9%、UrbanSound8Kで83.7%であった。
• ミックスアップは大多数のクラスを改善したが、ジャッキハマーとサイレンのペアではわずかに混同が増加したため、クラス固有のトレードオフが生じていることが示された。