[論文レビュー] DCASE 2018 Challenge Surrey Cross-Task convolutional neural network baseline

Qiuqiang Kong, Turab Iqbal+3 more|arXiv (Cornell University)|Aug 2, 2018

Music and Audio Processing参考文献 18被引用数 31

ひとこと要約

本論文は、DCASE 2018 チャレンジのためのクロスタスク畳み込みニューラルネットワーク（CNN）ベースラインを提示し、5つの音声タスクにおいて4層および8層のCNNを評価している。8層CNNは、音声シーン分類を除く全タスクで4層CNNを上回り、タスク1では68.0%の正確度、タスク2では92.8%の平均平均精度、タスク3では85.4%のAUC、タスク4では20.8%のF1スコア、タスク5では87.75%のF1スコアを達成した。

ABSTRACT

The Detection and Classification of Acoustic Scenes and Events (DCASE) consists of five audio classification and sound event detection tasks: 1) Acoustic scene classification, 2) General-purpose audio tagging of Freesound, 3) Bird audio detection, 4) Weakly-labeled semi-supervised sound event detection and 5) Multi-channel audio classification. In this paper, we create a cross-task baseline system for all five tasks based on a convlutional neural network (CNN): a "CNN Baseline" system. We implemented CNNs with 4 layers and 8 layers originating from AlexNet and VGG from computer vision. We investigated how the performance varies from task to task with the same configuration of neural networks. Experiments show that deeper CNN with 8 layers performs better than CNN with 4 layers on all tasks except Task 1. Using CNN with 8 layers, we achieve an accuracy of 0.680 on Task 1, an accuracy of 0.895 and a mean average precision (MAP) of 0.928 on Task 2, an accuracy of 0.751 and an area under the curve (AUC) of 0.854 on Task 3, a sound event detection F1 score of 20.8% on Task 4, and an F1 score of 87.75% on Task 5. We released the Python source code of the baseline systems under the MIT license for further research.

研究の動機と目的

• DCASE 2018 チャレンジにおける5つの多様な音声分類およびサウンドイベント検出タスクにわたる統一されたクロスタスクCNNベースラインを確立すること。
• 全5つのタスクにおいて、4層と8層のCNNアーキテクチャの性能差を評価すること。
• 同一のネットワーク構成を用いてタスク間の性能を比較することで、タスクの難易度を調査すること。
• 今後の研究のための再現可能でオープンソースのベースラインシステムの実装を公開すること。
• 弱教師ありおよびマルチモーダル音声設定におけるCNNの一般化性とスケーラビリティについての知見を提供すること。

提案手法

• AlexNetを模した4層CNNとVGGに基づく8層CNNの2つのCNNアーキテクチャを実装し、両者とも入力にログメルスペクトログ램を使用した。
• すべての畳み込みブロックで2×2のマックスプーリングとバッチ正規化を適用し、学習の安定化と一般化性能の向上を図った。
• 複数ラベルを含むタスクの多値分類のために、グローバル平均プーリングの後にシグモイド活性化関数を用いた全結合層を適用した。
• タスク4（弱教師ありSED）では、フレーム単位の予測にしきい値（0.2および0.8）を適用して発生時刻と終了時刻を検出するとともに、学習中にクリップ単位のラベル付けを実施した。
• タスク4において特徴マップの時間分解能を維持するために、マックスプーリングを時間軸に沿っては適用せず、周波数軸にのみ適用した。
• 交差エントロピー損失を用いてエンドツーエンドでモデルを学習し、標準指標（正確度、平均平均精度（MAP）、AUC、F1スコア）を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 共有されたCNNアーキテクチャは、DCASE 2018 チャレンジの多様な音声タスクにおいてどのように性能を発揮するか？
• RQ2 ネットワークの深さを4層から8層に増加させることで、全タスクにおいて一貫して性能が向上するか？
• RQ3 同一のモデル構成下で、どのタスクが最も困難であるか？ また、タスク難易度に寄与する要因は何であるか？
• RQ4 1つのCNNベースラインは、弱教師あり、マルチチャネル、マルチクラス音声シナリオに一般化して効果的に機能するか？
• RQ5 異なる推論戦略（例：しきい値処理 vs. クリップ単位のラベル付け）は、弱教師あり設定におけるサウンドイベント検出性能にどのように影響するか？

主な発見

• 8層CNNは、タスク1（音声シーン分類）で68.0%の正確度を達成し、4層CNNを上回ったが、差はわずかであった。
• タスク2（汎用音声タギング）では、8層CNNが平均平均精度（MAP）0.928を達成し、4層モデルを顕著に上回った。
• タスク3（鳥の音声検出）では、8層CNNが開発セットでAUC 0.854、評価セットでAUC 0.809を達成し、4層モデルの性能を上回った。
• タスク4（弱教師あり半教師ありSED）では、SED1推論戦略を用いて8層CNNがF1スコア20.8%を達成し、タスクが依然として極めて困難であることが示された。
• タスク5（マルチチャネル音声分類）では、8層CNNが開発セットでF1スコア87.75%、評価セットでF1スコア83.2%（未知のマイクを想定）を達成し、優れた耐障害性を示した。
• 8層CNNは、タスク1を除く全タスクで4層モデルを上回り、複雑な音声タギングおよび検出タスクにおいて、より深いネットワークがより効果的であることが示された。