[論文レビュー] SoundCLR: Contrastive Learning of Representations For Improved Environmental Sound Classification

Alireza Nasiri, Jianjun Hu|arXiv (Cornell University)|Mar 2, 2021

Music and Audio Processing参考文献 44被引用数 16

ひとこと要約

SoundCLR は、環境音分類のためのハイブリッド損失学習フレームワークを提案し、教師付き対照学習と交差エントロピー損失を組み合わせ、生の音声およびログメルスペクトログラムにおける強力なデータ拡張を用いる。クラス表現の分離を図り、ノイズへの耐性を向上させることで、ESC-10 で 99.75%、ESC-50 で 93.4%、US8K で 86.49% の最先端の精度を達成した。

ABSTRACT

Environmental Sound Classification (ESC) is a challenging field of research in non-speech audio processing. Most of current research in ESC focuses on designing deep models with special architectures tailored for specific audio datasets, which usually cannot exploit the intrinsic patterns in the data. However recent studies have surprisingly shown that transfer learning from models trained on ImageNet is a very effective technique in ESC. Herein, we propose SoundCLR, a supervised contrastive learning method for effective environment sound classification with state-of-the-art performance, which works by learning representations that disentangle the samples of each class from those of other classes. Our deep network models are trained by combining a contrastive loss that contributes to a better probability output by the classification layer with a cross-entropy loss on the output of the classifier layer to map the samples to their respective 1-hot encoded labels. Due to the comparatively small sizes of the available environmental sound datasets, we propose and exploit a transfer learning and strong data augmentation pipeline and apply the augmentations on both the sound signals and their log-mel spectrograms before inputting them to the model. Our experiments show that our masking based augmentation technique on the log-mel spectrograms can significantly improve the recognition performance. Our extensive benchmark experiments show that our hybrid deep network models trained with combined contrastive and cross-entropy loss achieved the state-of-the-art performance on three benchmark datasets ESC-10, ESC-50, and US8K with validation accuracies of 99.75\%, 93.4\%, and 86.49\% respectively. The ensemble version of our models also outperforms other top ensemble methods. The code is available at https://github.com/alireza-nasiri/SoundCLR.

研究の動機と目的

• 異なるクラスのサンプルを分離するように、クラス表現を分離した学習を実現することで、環境音分類（ESC）の性能を向上させること。
• 標準的な交差エントロピー損失の一般化性能の限界を克服するため、クラス間マージンを強化する教師付き対照学習損失を導入すること。
• トランスファー学習と強力なデータ拡張を活用して、小規模な ESC データセットにおける性能を向上させること。
• 対照学習と交差エントロピー損失のハイブリッド損失学習が、モデルの精度と耐性に与える影響を評価すること。
• 対照学習が、実世界の音声における背景ノイズに対するモデルの耐性を向上させることを示すこと。

提案手法

• 特徴抽出に、ImageNet で事前学習された ResNet-50 バックボーンを使用し、音声スペクトログラムで微調整する。
• ハイパーパramータ α を用いて、教師付き対照学習損失と交差エントロピー損失を組み合わせたハイブリッド損失関数を採用する。
• 対照学習損失は、同じサンプルの増幅ビュー（ポジティブペア）を表現空間で引き寄せる一方で、異なるクラスのサンプル（ネガティブペア）を引き離す。
• 生の音声信号およびそのログメルスペクトログラムに対してデータ拡張を適用し、スペクトログラムへのマスキングを組み込んで耐性を向上させる。
• α = 0.5 がすべてのデータセットで最適であると判明し、損失の組み合わせを用いてエンドツーエンドで学習を行う。
• 5つの独立して訓練された ResNet-50 モデルの予測を平均化することでアンサンブルモデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 標準的な交差エントロピー学習と比較して、教師付き対照学習は環境音分類における表現学習を向上させることができるか？
• RQ2 対照学習と交差エントロピー損失を組み合わせることで、小規模な音声データセットにおける分類精度にどのような影響を与えるか？
• RQ3 ログメルスペクトログラムにおけるマスキングベースのデータ拡張が、モデルの一般化性能に与える影響は何か？
• RQ4 ハイブリッド損失フレームワークは、テストセットにおける背景ノイズへの耐性をどのように向上させるか？
• RQ5 提案手法は、ESC-10、ESC-50、US8K といった標準的な ESC ベンチマークで最先端の性能を達成できるか？

主な発見

• ハイブリッド損失において α = 0.5 が、すべての3つのデータセットで最高の検証精度を達成し、最適化の補完性を裏付けた。
• SoundCLR は、ESC-10 で 99.75%、ESC-50 で 93.4%、US8K で 86.49% の精度を達成し、新たな最先端の結果を樹立した。
• ハイブリッド損失で訓練された5つの ResNet-50 モデルのアンサンブルは、ESC-50 で 93.6%、US8K で 88.01% の精度を達成し、以前のアンサンブル手法を上回った。
• 対照学習で訓練されたモデルは、ホワイトノイズ下でも精度の低下が遅く、より大きなクラス間マージンのおかげで耐性が向上していることが示された。
• ログメルスペクトログラムにおけるマスキングベースの拡張は、特にノイズが多い状況下で認識性能を顕著に向上させた。
• ハイブリッド学習戦略は、純粋な交差エントロピー損失や純粋な対照学習損失の学習を上回り、統合的な教師信号の利点を示した。