[論文レビュー] Urban Sound Classification : striving towards a fair comparison

Augustin Arnault, Baptiste Hanssens+1 more|arXiv (Cornell University)|Oct 22, 2020

Music and Audio Processing参考文献 25被引用数 4

ひとこと要約

本論文は、都市音分類のためのDCASE 2020 Task 5優勝ソリューションを提示しており、バリデーションデータ上で粗い分類で0.82、細かい分類で0.62のマクロ-AUPRCを達成し、ESC-50とUS8kではそれぞれ89.7%および85.41%の精度を記録した。本研究では、一貫した入力表現、評価指標、最適化手法を用いた公平な比較フレームワークを導入し、複数のデータセット間でのモデルの再現可能性のある評価を可能にした。

ABSTRACT

Urban sound classification has been achieving remarkable progress and is still an active research area in audio pattern recognition. In particular, it allows to monitor the noise pollution, which becomes a growing concern for large cities. The contribution of this paper is two-fold. First, we present our DCASE 2020 task 5 winning solution which aims at helping the monitoring of urban noise pollution. It achieves a macro-AUPRC of 0.82 / 0.62 for the coarse / fine classification on validation set. Moreover, it reaches accuracies of 89.7% and 85.41% respectively on ESC-50 and US8k datasets. Second, it is not easy to find a fair comparison and to reproduce the performance of existing models. Sometimes authors copy-pasting the results of the original papers which is not helping reproducibility. As a result, we provide a fair comparison by using the same input representation, metrics and optimizer to assess performances. We preserve data augmentation used by the original papers. We hope this framework could help evaluate new architectures in this field. For better reproducibility, the code is available on our GitHub repository.

研究の動機と目的

• 都市音分類のための最先端ソリューションを提示すること。このソリューションはDCASE 2020 Task 5コンテストで優勝した。
• 音声パターン認識分野におけるモデル比較の公平性と再現可能性の欠如に応じ、入力表現、評価指標、最適化手法の標準化を通じて問題を解決すること。
• 一貫したフレームワークを用いて複数のデータセット（ESC-50、US8k、SONYC-UST）におけるモデル性能を評価し、客観的な比較を保証すること。
• コードの公開と、スペクトログラム計算および指標実装における不整合の特定を通じて、再現性を向上させること。
• ラベル品質と再ラベル化戦略が、特にノイズの多いデータセット（SONYC-UST）においてモデル性能に与える影響を調査すること。

提案手法

• モデルは、特徴抽出の一貫性を確保するため、Librosaを用いて生音声をログメルスペクトログラムに変換する。
• ハイブリッドアーキテクチャは、変更済みTALNetに基づくグローバル特徴抽出器（10個の畳み込みブロックとBi-GRU層を含む）と、残差接続を備えた特定の特徴抽出器を組み合わせている。
• 長距離の時間的依存関係を捉えるために、マルチヘッド自己注意機構を採用し、細分化された分類性能を向上させた。
• データオーグメンテーション技術として、時間歪み、周波数マスキング、時間マスキング、およびランダムリサイズを適用し、SpecAugmentおよびArgusからインスパイドされた。
• ボランティアによるアノテーションに起因する不整合なラベルを是正するため、SONYC-USTに再ラベル化戦略を適用し、モデルのロバスト性を向上させた。
• すべてのモデルは、同じ最適化手法（Adam）、損失関数（バイナリクロスエントロピー）、評価指標（マクロ-AUPRC、精度）を用いて評価され、公平な比較が保証された。

実験結果

リサーチクエスチョン

• RQ1 一貫した入力表現、評価指標、最適化手法を備えた統一された評価フレームワークは、都市音分類におけるモデル比較の再現性と公平性をどのように向上させるか？
• RQ2 特にボランティアアノテーションによる信頼性が低い可能性のあるデータセット（例：SONYC-UST）において、ラベル品質がモデル性能に与える影響は何か？
• RQ3 自己注意機構を統合したアーキテクチャは、都市音イベントの長距離時間的パターンを捉える点で、畳み込みモデルを上回る性能を示せるか？
• RQ4 スペクトログラム計算手法の違い（例：Librosa対PyTorch）が、モデル性能および再現性に与える影響は何か？
• RQ5 データオーグメンテーション手法や実装詳細（例：Mixupのバリエーション）の差異が、モデルの汎化性能および報告された結果にどの程度影響を与えるか？

主な発見

• 提案されたモデルは、DCASE 2020 Task 5のバリデーションセットにおいて、粗い分類で0.82、細かい分類で0.62のマクロ-AUPRCを達成した。
• ESC-50データセットでは89.7%の精度を記録し、多数のベースラインモデルを上回った。
• US8kデータセットでは85.41%の精度を達成し、複数のデータセットにわたる強い汎化性能を示した。
• SONYC-USTにおいては粗い分類ではCNN10を上回ったが、細かい分類ではCNN10が本モデルを上回った。
• 再ラベル化戦略により、SONYC-USTにおける性能が顕著に向上した。これは、ラベルノイズが現実世界のデータセットにおいて主要な混同要因である可能性を示唆している。
• フレームワーク間での指標計算の不一致（特にAUCとF1）が観察され、標準化された評価の必要性が浮き彫りになった。