[論文レビュー] A Comparison of Five Multiple Instance Learning Pooling Functions for Sound Event Detection with Weak Labeling

Yun Wang, Juncheng Li+1 more|arXiv (Cornell University)|Oct 22, 2018

Music and Audio Processing被引用数 10

ひとこと要約

この論文は、弱教師付き音声イベント検出（SED）における5つの複数インスタンス学習（MIL）プーリング関数を比較し、線形ソフトマックスプーリングが、最大値プーリング、平均プーリング、指数的ソフトマックスプーリング、および注目プーリングよりも局所化精度で優れていることを発見した。この関数を用いて、著者らはTALNetを提案する。TALNetは、微調整なしでAudioSetにおいて最先端の音声タギング性能とDCASE 2017において優れた局所化性能を達成する最初のモデルである。

ABSTRACT

Sound event detection (SED) entails two subtasks: recognizing what types of sound events are present in an audio stream (audio tagging), and pinpointing their onset and offset times (localization). In the popular multiple instance learning (MIL) framework for SED with weak labeling, an important component is the pooling function. This paper compares five types of pooling functions both theoretically and experimentally, with special focus on their performance of localization. Although the attention pooling function is currently receiving the most attention, we find the linear softmax pooling function to perform the best among the five. Using this pooling function, we build a neural network called TALNet. It is the first system to reach state-of-the-art audio tagging performance on Audio Set, while exhibiting strong localization performance on the DCASE 2017 challenge at the same time.

研究の動機と目的

• クリップレベルのラベルしか入手できない弱ラベル付き条件下で、音声イベント検出のための5つのMILプーリング関数を評価および比較すること。
• 局所化精度とフレームレベルの予測の一貫性の両方を最適にバランスさせるプーリング関数を同定すること。
• 音声タギングおよび音声イベント局所化の両タスクにおいて優れた性能を発揮する統合型ディープラーニングモデルを開発すること。
• 注目ベースの手法と比較して、なぜ線形ソフトマックスプーリングがより良い勾配伝搬とより少ない誤検出を実現するのかを示すこと。

提案手法

• 著者らは、最大値プーリング、平均プーリング、線形ソフトマックスプーリング、指数的ソフトマックスプーリング、および注目プーリングの5つのプーリング関数を実装し、それぞれがフレームレベルの予測をレコーディングレベルの確率に変換する。
• 各プーリング関数は、弱ラベル付き音声データ上でエンドツーエンド学習可能なCRNNベースのニューラルネットワークアーキテクチャに統合された。
• 線形ソフトマックスプーリング関数は、線形スケーリングされたロジットを用いてフレーム確率の重み付き平均を計算し、滑らかな勾配伝搬を保証する。
• モデルは、AudioSetおよびDCASE 2017からの弱ラベルと予測されたレコーディングレベル確率の間の交差エントロピー損失を用いて学習された。
• ハイパーパramータとクラス固有のしきい値は検証を用いて調整され、クラスの不均衡を解消するためのデータバランス技術が適用された。
• 最終的なモデル、TALNetは線形ソフトマックスプーリング関数を用い、AudioSet（タギング用）およびDCASE 2017（局所化用）で評価された。

実験結果

リサーチクエスチョン

• RQ1 弱教師付き音声イベント検出において、どのMILプーリング関数が最良の局所化性能を達成するか？
• RQ2 異なるプーリング関数は、フレームレベルとレコーディングレベルの予測の一貫性にどのように影響するか？
• RQ3 1つのモデルが音声タギングおよび局所化タスクの両方で最先端の性能を達成できるか？
• RQ4 注目プーリング関数は人気が高いが、なぜ局所化において高い誤検出率を示すのか？
• RQ5 線形ソフトマックスプーリング関数は、他のプーリング関数と比較して、より優れた勾配伝搬と訓練安定性を提供するか？

主な発見

• 線形ソフトマックスプーリング関数は、DCASE 2017チャレンジで45.4の最高の局所化F1スコアを達成し、最大値プーリング（42.2）および注目プーリング（45.5）を上回った。また、誤差率（78.9）も注目プーリング（92.0）を下回った。
• TALNetはAudioSetで平均平均精度（MAP）0.359を達成し、Yuら[23]の最先端の結果（0.360）に非常に近い結果を示し、比較対象のすべてのシステムを上回った。
• 注目プーリング関数は人気が高いが、誤差率（92.0）が高く、誤検出が多発し、フレームレベルの局所化性能が著しく劣っていた。
• 線形ソフトマックスプーリング関数は、他のプーリング関数と比較して、優れた勾配伝搬と偽陰性と偽陽性のバランスを示した。
• TALNetは、微調整なしに音声タギング（AudioSet）と局所化（DCASE 2017）の両方で優れた性能を達成する最初のモデルである。
• 理論的分析により、線形ソフトマックスプーリング関数は、最大値プーリングとは異なり、遮断のない勾配伝搬を可能にすることが確認された。