[論文レビュー] Convolutional Neural Networks and x-vector Embedding for DCASE2018 Acoustic Scene Classification Challenge

Hossein Zeinali, Lukáš Burget+1 more|arXiv (Cornell University)|Oct 1, 2018

Music and Audio Processing参考文献 4被引用数 44

ひとこと要約

本論文は、2次元および1次元畳み込みニューラルネットワーク（CNN）とx-vector埋め込みを組み合わせ、ログメルスペクトログ램とCQT特徴を統合したハイブリッド深層学習手法を提示する。スコア平均による8モデルのラテントファージョンが最良の性能を示し、DCASE2018評価セットで78.4%の正確度を達成し、24チーム中3位となった。

ABSTRACT

In this paper, the Brno University of Technology (BUT) team submissions for Task 1 (Acoustic Scene Classification, ASC) of the DCASE-2018 challenge are described. Also, the analysis of different methods on the leaderboard set is provided. The proposed approach is a fusion of two different Convolutional Neural Network (CNN) topologies. The first one is the common two-dimensional CNNs which is mainly used in image classification. The second one is a one-dimensional CNN for extracting fixed-length audio segment embeddings, so called x-vectors, which has also been used in speech processing, especially for speaker recognition. In addition to the different topologies, two types of features were tested: log mel-spectrogram and CQT features. Finally, the outputs of different systems are fused using a simple output averaging in the best performing system. Our submissions ranked third among 24 teams in the ASC sub-task A (task1a).

研究の動機と目的

• DCASE2018チャレンジ用の堅牢な音響シーン分類システムを、深層ニューラルネットワークを用いて開発すること。
• 画像のような特徴処理に適した2次元CNNと、x-vector埋め込み抽出に適した1次元CNNを組み合わせた手法の有効性を調査すること。
• 異なる特徴タイプ（ログメルスペクトログラムとCQT）およびマルチチャネル入力構成の性能を評価すること。
• データ拡張およびファージョン戦略がモデルの汎化性能と正確度に与える影響を分析すること。
• 特にパブリックスクエアクラスの失敗事例を特定し、今後のモデル設計およびデータ拡張の改善に向けた指針を導くこと。

提案手法

• 2本のブランチからなるCNNアーキテクチャを採用：1本目は音声特徴を2次元画像として扱う標準的な2次元CNN、もう1本は時間的音声セグメントから固定長のx-vector埋め込みを学習する1次元CNN。
• 入力としてログメルスペクトログラムと定常Q変換（CQT）特徴を用い、40 msのハミング窓、20 msのオーバーラップ、2048点のFFTを用いて抽出した。
• 左（L）、右（R）、和（L+R）、差（L-R）の4チャネルを組み合わせた4チャネル入力モードを実装し、空間的およびスペクトル的情報の活用を向上させた。
• 同じシーンからの音声セグメントの重み付き和を用いたデータ拡張を実施し、訓練データを3倍に増やしたが、シーンの識別子を保持した。
• 複数のモデルを単純な出力平均化と論理回帰（FoCal）を用いてファージョンし、特に拡張データで学習した8モデルを統合した最良のシステムを採用した。
• モデルは公式の開発フォールドで学習し、チャレンジの公式評価セットで評価した。ハイパーパramータチューニングには提供されたバリデーションスプリットを使用した。

実験結果

リサーチクエスチョン

• RQ1 DCASE2018データセットにおける音響シーン分類タスクにおいて、2次元CNNとx-vector抽出を伴う1次元CNNの性能は、どのように比較されるか？
• RQ2 ログメルスペクトログラムとCQT特徴の間で、それぞれの相対的寄与度は何か？
• RQ3 4チャネル音声特徴（L, R, M, S）を用いることで、単一チャネル入力と比較してモデル性能が向上するか？
• RQ4 外部データを用いない条件下で、音声セグメントの混合による単純なデータ拡張は、一般化性能の向上にどの程度効果的か？
• RQ5 単純平均化と論理回帰に基づくファージョンのどちらが、未知のデータに対してより優れた汎化性能と耐性を示すか？

主な発見

• スコア平均による8モデルのファージョンが評価セットで78.4%の正確度を達成し、24チーム中3位となった。
• ログメルスペクトログラムは、すべての構成においてCQT特徴を上回り、メルスペクトログラムベースのシステムはデータ拡張を適用することで最大76.8%の正確度を達成した。
• 4チャネル入力モードは、ほとんどのケースで性能向上をもたらしたが、特に拡張データを用いた場合に顕著であった。一方、一部の構成では性能低下が見られ、トレーニングダイナミクスに敏感であることが示唆された。
• データ拡張は、ほとんどのモデルで性能向上をもたらしたが、その効果はアーキテクチャによって異なり、2次元CNNの方が1次元CNNよりもより大きな恩恵を受けていた。
• 単純なスコア平均化は、常に論理回帰ベースのファージョン（FoCal）を上回った。これは、後者においてトレーニング段階で過学習が生じた可能性があるためと考えられる。
• パブリックスクエアクラスが最も困難であり、正確度は29.9%にとどまり、このシーンタイプにおける微細な音響的手がかりをモデルが捉えられていないことが示唆された。