[論文レビュー] Surrey-cvssp system for DCASE2017 challenge task4

Yong Xu, Qiuqiang Kong+2 more|arXiv (Cornell University)|Sep 2, 2017

Computational Physics and Python Applications参考文献 3被引用数 33

ひとこと要約

本論文では、DCASE2017 Task 4データセットを用いた弱教師付き音声タギングおよび音声イベント検出のため、畳み込みニューラルネットワーク（CNN）と長短期記憶（GRU）を組み合わせ、学習可能なゲーティング活性化関数と注目メカニズムを用いた深層学習システムを提示する。この手法は開発セットで61%のF1スコアを達成し、評価セットでは音声タギングで1位、音声イベント検出で2位を記録し、ベースラインを著しく上回った。

ABSTRACT

In this technique report, we present a bunch of methods for the task 4 of Detection and Classification of Acoustic Scenes and Events 2017 (DCASE2017) challenge. This task evaluates systems for the large-scale detection of sound events using weakly labeled training data. The data are YouTube video excerpts focusing on transportation and warnings due to their industry applications. There are two tasks, audio tagging and sound event detection from weakly labeled data. Convolutional neural network (CNN) and gated recurrent unit (GRU) based recurrent neural network (RNN) are adopted as our basic framework. We proposed a learnable gating activation function for selecting informative local features. Attention-based scheme is used for localizing the specific events in a weakly-supervised mode. A new batch-level balancing strategy is also proposed to tackle the data unbalancing problem. Fusion of posteriors from different systems are found effective to improve the performance. In a summary, we get 61% F-value for the audio tagging subtask and 0.73 error rate (ER) for the sound event detection subtask on the development set. While the official multilayer perceptron (MLP) based baseline just obtained 13.1% F-value for the audio tagging and 1.02 for the sound event detection.

研究の動機と目的

• YouTube由来の音声クリップを用いた大規模な弱教師付き音声イベント検出を扱う。
• Google AudioSetサブセットから得られる不均衡で弱教師付きラベルが付与されたデータにおける音声タギングおよび音声イベント検出性能を向上させる。
• クリップレベルのラベルのみを用いて、イベントの局所化とシーン分類を効果的に行う強力な深層学習フレームワークを開発する。
• 訓練および統合戦略の新規性を通じて、データの不均衡を克服し、一般化性能を向上させる。

提案手法

• 学習可能なゲーティング活性化関数を導入し、線形変換と学習可能なシグモイドゲーティングを組み合わせて、情報量の多い局所的特徴を強調する。
• バッチレベルのバランス戦略を採用し、各訓練バッチに低頻度クラスの少なくとも1つのサンプルが含まれるようにすることで、データの不均衡を緩和する。
• フレームレベルのアノテーションが不要な注目メカニズムを用いて、時間領域における音声イベントの局所化を実現する。
• 複数のモデルおよびモデルの反復からの予測を統合する二段階の統合戦略を採用し、性能と耐性を向上させる。
• バッチ正則化を施した畳み込みブロックをスタックし、時間的モデリングに双方向GRU-RNNを用いることで、完全な時間的分解能を維持する。
• スペクトログ램、ログメルフィルタバンク、MFCC特徴量を抽出し、モデルへの入力として用いる。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きの音声クリップしか利用できない状況下で、深層学習モデルがどのようにして音声イベントを効果的に検出・局所化できるか？
• RQ2 大規模な音声データセットにおける深刻なクラス不均衡が性能に与える悪影響を軽減するにはどのような技術が必要か？
• RQ3 学習可能なゲーティング機構は、弱教師付き音声分類における特徴選択とモデル性能を向上させることができるか？
• RQ4 フレームレベルのアノテーションが存在しない状況下で、注目メカニズムによる局所化は検出精度をどの程度向上させるか？
• RQ5 弱教師付き音声イベント検出タスクにおいて、モデル統合は性能と耐性を向上させるのにどの程度有効か？

主な発見

• 提案されたシステムは、音声タギングの開発セットで61%のF1スコアを達成し、DCASE2017ベースラインの13.1% F1を著しく上回った。
• 音声イベント検出において、開発セットで0.73のエラーレートを達成したのに対し、ベースラインは1.02であった。
• 評価セットでは、音声タギングで1位となり、F1スコアは55.6%であった。
• 評価セットにおける音声イベント検出では2位となり、F1スコアは51.8%、エラーレートは0.73であった。
• 複数のモデルおよび学習イテレーションの統合により性能が向上し、弱教師付き設定におけるアンサンブル学習の有効性が示された。
• 注目メカニズムは、テストクリップの予測値と正解の比較図からも明らかになったように、時間領域における音声イベントの局所化に成功した。