[論文レビュー] Sound Context Classification Basing on Join Learning Model and Multi-Spectrogram Features

Dat Ngo, Hao Hoang+3 more|arXiv (Cornell University)|May 26, 2020

Music and Audio Processing参考文献 53被引用数 9

ひとこと要約

本稿では、マルチスペクトログラム特徴量と、並列的な畳み込みニューラルネットワークと再帰的ニューラルネットワークを統合する新しい共同学習アーキテクチャを組み合わせた深層学習フレームワークを提案する。この手法は、最先端の性能を達成し、LITISルーアンデータセットで99.1%の正確度を達成するとともに、DCASE 2016–2018ベンチマークでも上位クラスにランクされ、多様なデータセットおよび録音条件においても堅牢性を示している。

ABSTRACT

In this paper, we present a deep learning framework applied for Acoustic Scene Classification (ASC), the task of classifying scene contexts from environmental input sounds. An ASC system generally comprises of two main steps, referred to as front-end feature extraction and back-end classification. In the first step, an extractor is used to extract low-level features from raw audio signals. Next, the discriminative features extracted are fed into and classified by a classifier, reporting accuracy results. Aim to develop a robust framework applied for ASC, we address exited issues of both the front-end and back-end components in an ASC system, thus present three main contributions: Firstly, we carry out a comprehensive analysis of spectrogram representation extracted from sound scene input, thus propose the best multi-spectrogram combinations. In terms of back-end classification, we propose a novel join learning architecture using parallel convolutional recurrent networks, which is effective to learn spatial features and temporal sequences of spectrogram input. Finally, good experimental results obtained over benchmark datasets of IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events (DCASE) 2016 Task 1, 2017 Task 1, 2018 Task 1A & 1B, LITIS Rouen prove our proposed framework general and robust for ASC task.

研究の動機と目的

• 音響シーン分類（ASC）における環境音の変動性、重複する周波数帯域、低SNRの課題に対処すること。
• 複数のスペクトログラムタイプ（例：log-Mel、CQT、GAM、STFT）を体系的に分析・統合することで、特徴表現の向上を図ること。
• スペクトログラムの空間的特徴（テクスチャ）と時間的特徴（系列のダイナミクス）を両方効果的に捉えることが可能な堅牢なバックエンド分類器を開発すること。
• 標準化されたベンチマーク（DCASE 2016–2018、LITISルーアン）を用いて、フレームワークの汎化性能とさまざまなデータセットおよび録音条件に対する耐性を検証すること。

提案手法

• log-Mel、CQT、ガマトーン（GAM）、STFTスペクトログラムを統合するマルチスペクトログラム入力戦略を採用し、低レベルの音声表現を豊かにすること。
• 並列ブランチを備えた共同学習アーキテクチャを設計：1本のブランチは1次元畳み込みネットワーク（1D-CNN）を用いて空間的特徴を抽出し、もう1本のブランチは双方向LSTM（Bi-LSTM）ネットワークを用いて時間的系列モデリングを行う。
• 並列ブランチの出力を、最終分類の前に遅延統合（要素ごとの連結）により統合する。
• 交差エントロピー損失とAdam最適化を用いてエンドツーエンドでモデルを学習し、データオーグメンテーションとドロップアウトを活用して正則化を実施する。
• 複数のスペクトログラム組み合わせの予測を統合する遅延統合戦略を採用し、入力の変動に対する耐性を高めること。
• 標準的な前処理を実施：音声を1秒のクリップに分割、正規化処理を実施し、ハニング窓と10msのハップサイズを用いてメルスケールスペクトログラムを計算する。

実験結果

リサーチクエスチョン

• RQ1 log-Mel、CQT、GAM、STFTのスペクトログラムタイプのどの組み合わせがASCに最も判別力のある特徴をもたらすか？
• RQ2 CNNとRNNを統合する共同学習アーキテクチャは、スペクトログラム内の空間的および時間的パターンを効果的にモデル化でき、ASC性能の向上に寄与するか？
• RQ3 提案されたマルチスペクトログラムと共同学習フレームワークは、多様なデータセットおよび録音条件（例：デバイスの不一致）においてどのように一般化するか？
• RQ4 複数のスペクトログラム入力の遅延統合戦略は、単一特徴ベースラインと比較して、耐性および正確度を向上させるか？
• RQ5 DCASE 2016–2018およびLITISルーアンといった標準化されたASCベンチマークにおいて、提案システムは最先端のモデルと比較してどうなるか？

主な発見

• log-Mel、CQT、およびガマトーンスペクトログラムの組み合わせが最も高い性能を示し、LITISルーアンデータセットで99.1%の正確度を達成した。
• DCASE 2016タスク1では89.2%の正確度を達成し、全エントリーランキング2位にランクされ、トップ3の最先端システムに位置付けられた。
• DCASE 2018タスク1Aでは77.8%の正確度を達成し、上位4位以内にランクされ、当該データセットで発表済みの最先端システムをすべて上回った。
• DCASE 2018タスク1Bでは67.5%の正確度を達成し、デバイス不一致に対する耐性を示し、トップエントリーよりも非常に競争力のある性能を示した。
• アブレーションスタディにより、並列的なCNNとBi-LSTMブランチを備えた共同学習アーキテクチャは、単一ブランチモデルに比べて顕著に特徴学習性能が向上したことが確認された。
• マルチスペクトログラム入力戦略は、単一スペクトログラムベースラインを常に上回る性能を示し、補完的な周波数および時間的表現の価値を裏付けた。