[論文レビュー] Integrating the Data Augmentation Scheme with Various Classifiers for Acoustic Scene Modeling

Hangting Chen, Zuozhen Liu+3 more|arXiv (Cornell University)|Jul 15, 2019

Music and Audio Processing参考文献 12被引用数 67

ひとこと要約

この論文はGANベースのデータ拡張を用いたデータ拡張フレームワークを提案し、複数のASC分類器（FBank-FCNN、Scalogram-DCNN、ハイブリッド）とアンサンブル投票を組み合わせることで、DCASE2019 Task1A fold-1で85%以上の精度を達成します。

ABSTRACT

This technical report describes the IOA team's submission for TASK1A of DCASE2019 challenge. Our acoustic scene classification (ASC) system adopts a data augmentation scheme employing generative adversary networks. Two major classifiers, 1D deep convolutional neural network integrated with scalogram features and 2D fully convolutional neural network integrated with Mel filter bank features, are deployed in the scheme. Other approaches, such as adversary city adaptation, temporal module based on discrete cosine transform and hybrid architectures, have been developed for further fusion. The results of our experiments indicates that the final fusion systems A-D could achieve an accuracy higher than 85% on the officially provided fold 1 evaluation dataset.

研究の動機と目的

• ドメインシフト（例：未知の都市）に対する堅牢な音響場景分類（ASC）の動機付けとデータ拡張の活用。
• Melフィルタバンク、スカログラムといった特徴表現とアーキテクチャ（1D DCNN、2D FCNN、Inceptionベースのハイブリッド）を用いたASC分類器の開発と比較。
• 最終的なASC性能を向上させる融合/アンサンブル戦略の実演。
• 補助的なGANベース拡張（ACGAN、CVAE/ACGAN）と敵対的ドメイン適応がASC性能に与える影響を評価。

提案手法

• ACGANおよびCVAE/ACGANを用いたデータ拡張で、シーンラベルを持つ合成音響特徴マップを生成。
• 2つの主要な分類器： (i) FBank-FCNN（10クラス）および (ii) Scalogram-DCNN（10クラス）；拡張有無で訓練。
• 追加の分類器を組み込む：DCTベースの時間モジュール、Adversarial City Adaptation、IncepLSTM/IncepGRUを用いたハイブリッドネットワークでモデル融合を可能にする。
• 複数の分類器を最終予測へ結合するためのアンサンブル戦略（平均投票と加重投票）を探る。
• fold-1 DCASE2019設定で訓練・評価を実施；バリデーション分割を用いた早期停止とハイパーパラメータチューニング；提出用に開発データ全体で最良システムを再訓練。

実験結果

リサーチクエスチョン

• RQ1 GANベースの拡張（ACGAN、CVAE/ACGAN）が、異なる特徴表現（FBank vs scalogram）とアーキテクチャでASC性能にどのように影響するか？
• RQ2 敵対的な都市適応とDCTベースの時間モジュールは、未知ドメイン/都市への一般化にどのような影響を与えるか？
• RQ3 多様なASCモデルの平均投票と加重投票の組み合わせは、単一モデルの性能を上回るか、どの程度上回るか？
• RQ4 どの特徴、拡張スキーム、分類器アーキテクチャの組み合わせが、DCASE2019 Task1A fold-1で最高の精度を生むか？

主な発見

• ACGANまたはCVAE/ACGANによるデータ拡張は、特徴タイプと分類器を問わずASC精度を改善（約0.5–4%の向上を観測）。
• Scalogramベースの特徴は ave-diff チャンネルで、一般に左-右チャンネルよりも約3–5%上回る。
• 最良の単一システムは、scalogram-aveDiffとCVAE/ACGAN-DCNNで最大84.28%に達し、CVAE/ACGANは一部設定でACGANを上回ることがある。
• ハイブリッドおよび対抗的アプローチは相補的な利得を提供するが、すべての強化を組み合わせても必ずしも性能が向上するとは限らない； DCTは一部設定で役立つ。
• 融合システムは fold-1 評価で最終精度85.07%–85.28%を達成し、適切な重み付けと平均化で85%を超える。