[論文レビュー] CNNs-based Acoustic Scene Classification using Multi-Spectrogram Fusion and Label Expansions

Weiping Zheng, Zhenyao Mo+2 more|arXiv (Cornell University)|Sep 5, 2018

Music and Audio Processing被引用数 9

ひとこと要約

本論文は、マルチスペクトログラム融合（STFTおよびCQT）とラベル拡張を用いたCNNベースの音響シーン分類フレームワークを提案する。複数のスペクトログラムからの深層特徴を統合し、クラス間の類似性を活用するためのスーパークラスラベルを導入することで、LITIS Rouenデータセットでは0.9744、DCASE2017開発セットでは0.8865という最先端の精度を達成した。

ABSTRACT

Spectrograms have been widely used in Convolutional Neural Networks based schemes for acoustic scene classification, such as the STFT spectrogram and the MFCC spectrogram, etc. They have different time-frequency characteristics, contributing to their own advantages and disadvantages in recognizing acoustic scenes. In this letter, a novel multi-spectrogram fusion framework is proposed, making the spectrograms complement each other. In the framework, a single CNN architecture is applied onto multiple spectrograms for feature extraction. The deep features extracted from multiple spectrograms are then fused to discriminate the acoustic scenes. Moreover, motivated by the inter-class similarities in acoustic scene datasets, a label expansion method is further proposed in which super-class labels are constructed upon the original classes. On the help of the expanded labels, the CNN models are transformed into the multitask learning form to improve the acoustic scene classification by appending the auxiliary task of super-class classification. To verify the effectiveness of the proposed methods, intensive experiments have been performed on the DCASE2017 and the LITIS Rouen datasets. Experimental results show that the proposed method can achieve promising accuracies on both datasets. Specifically, accuracies of 0.9744, 0.8865 and 0.7778 are obtained for the LITIS Rouen dataset, the DCASE Development set and Evaluation set respectively.

研究の動機と目的

• 意味的に類似したシーン（例：図書館と書店）が別々のクラスとして扱われる音響シーン分類におけるクラス間類似性の課題に対処する。
• 時間周波数特性の補完的特徴を捉えるために、複数のスペクトログラム（STFT、CQT、MFCC）を統合して特徴学習を向上させる。
• スペクトルクラスタリングを用いて元のクラス間の階層的関係をモデル化することで、スーパークラスラベルを導入し、モデルの一般化性能を向上させる。
• 拡張ラベルを用いて単一タスクのCNNをマルチタスク学習フレームワークに変換し、特徴学習の正則化と識別性能の向上を図る。
• 単純ながらも効果的な統合とラベル拡張パイプラインを用いて、多様なデータセットで一貫した性能向上を達成する。

提案手法

• 標準的な信号処理技術を用いて、各音声セグメントから複数のスペクトログラム（STFT、CQT、MFCC）を生成する。
• 各スペクトログラムに対して同一のCNNアーキテクチャ（例：VGGやResNet）を独立して適用し、深層特徴を抽出する。
• 複数のスペクトログラムからの深層特徴を各音声セグメントごとに連結し、次に次元削減のためPCAを適用する。
• 複数のCNNモデルからのグローバル特徴を統合し、各音声セグメントに対して1つのハイレベル表現を生成する。
• 基本分類器の出力を用いてスペクトルクラスタリングを実行し、元のシーンクラスからスーパークラスラベルを構築する。
• スーパークラス分類の補助タスクを追加し、スーパークラスと元のクラスとの間の正則化制約を設けることで、マルチタスク学習設定でCNNモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 STFTとCQTを用いたマルチスペクトログラム統合は、単一スペクトログラムベースラインと比較して、音響シーン分類の精度向上に寄与するか？
• RQ2 スーパークラスの構築によるラベル拡張は、音響シーン分類における特徴学習とモデル一般化性能の向上に寄与するか？
• RQ3 本手法の性能は、クラス分布特性が異なるデータセットでどのように変化するか？
• RQ4 ラベル拡張はどのような状況で性能向上をもたらし、またどのような状況で性能向上が得られなかったり、逆に劣化するか？
• RQ5 提案された統合とラベル拡張フレームワークは、DCASE2017やLITIS Rouenといったベンチマークデータセットで最先端の性能を達成できるか？

主な発見

• STFTとCQTスペクトログラムの統合により、LITIS Rouenデータセットで最高の精度0.9744を達成し、すべての単一スペクトログラムベースラインを最大0.013の差で上回った。
• DCASE2017開発セットでは、提案手法が0.8865の精度を達成し、ベースラインのCNN-LSTM-GAN手法（0.871）および他の最先端手法を上回った。
• ESC-50データセットではラベル拡張により性能が向上し、VGG-LEを用いて精度が0.7145から0.7285に上昇した。これは、クラスタ構造が明確なデータセットにおいて有効であることを示している。
• LITIS Rouenデータセットでは0.9744の精度を達成し、先行研究で報告された0.978という現在の最先端結果に非常に近い。
• すべてのスペクトログラム組み合わせが性能向上をもたらすわけではない。STFT+MFCCやMFCC+CQTのような統合は、単一スペクトログラムベースラインよりも低い精度にとどまった。これは、特徴選択の重要性を示している。
• LITIS Rouenデータセットではラベル拡張が一貫した性能向上をもたらさなかった。これは、ラベル拡張の有効性がデータセット固有のクラス分布やクラスタの分離性に依存することを示唆している。