[論文レビュー] Data-Efficient Weakly Supervised Learning for Low-Resource Audio Event Detection Using Deep Learning

Veronica Morfi, Dan Stowell|arXiv (Cornell University)|Jul 17, 2018

Music and Audio Processing被引用数 19

ひとこと要約

本論文は、新しいマルチインスタンス学習（MIL）損失関数を用いて、データ効率的で弱教師ありの深層学習手法を、低リソース音声イベント検出に提案する。最大値、平均値、最小値のプーリングを統合した損失（MMM）を組み込むことで、従来の手法（偽の強いラベル付けや最大値のみの損失）に比べ、一時的でまれなイベントの検出性能が向上し、2つの低リソースデータセットで高いF1スコアを達成した。

ABSTRACT

We propose a method to perform audio event detection under the common constraint that only limited training data are available. In training a deep learning system to perform audio event detection, two practical problems arise. Firstly, most datasets are "weakly labelled" having only a list of events present in each recording without any temporal information for training. Secondly, deep neural networks need a very large amount of labelled training data to achieve good quality performance, yet in practice it is difficult to collect enough samples for most classes of interest. In this paper, we propose a data-efficient training of a stacked convolutional and recurrent neural network. This neural network is trained in a multi instance learning setting for which we introduce a new loss function that leads to improved training compared to the usual approaches for weakly supervised learning. We successfully test our approach on two low-resource datasets that lack temporal labels.

研究の動機と目的

• 時間的境界線が明示されていない限られた弱教師ありデータ（弱いラベル）しか利用できない状況において、正確な音声イベント検出器を訓練する課題に対処すること。
• すべての正例音声のフレームを正例と予測してしまうため、一般化性能が著しく低下する偽の強いラベル付けの限界を克服すること。
• 弱いラベルからイベントの時間的構造をより良く捉えることができる、マルチインスタンス学習設定における新しい損失関数の開発。
• バッチ内のすべてのインスタンスからの勾配信号を活用することで、まれまたは短時間の音声イベントの検出性能を向上させること。
• 2つのベンチマークデータセットを用いて、異なる音声イベントタイプと低リソース設定において、汎用性を実証すること。

提案手法

• 各音声録音を「バッグ」とし、時間フレームを「インスタンス」として扱うマルチインスタンス学習（MIL）問題として音声イベント検出を定式化。弱いラベルは時間的境界線を伴わず、クラスの存在を示す。
• バッチ内のインスタンス間の最大活性化（max）、平均活性化（mean）、最小活性化（min）を統合した、新しい損失関数MMMを提案。
• 畳み込みニューラルネットワーク（CNN）と再帰ニューラルネットワーク（RNN）をスタックさせたアーキテクチャを用いて、階層的特徴を抽出し、音声内の時間的依存性をモデル化。
• MMM損失を用いてモデルを訓練することで、顕著なイベントだけでなく、繊細なイベントの検出を促進し、最も目立つインスタンスに過剰に適合するのを防ぐ。
• 損失の各成分を通じて、関連するイベントセグメントに注目するが、低振幅または短時間のイベントに対しても感度を保つ、暗黙的なアテンション機構を導入。
• Adamを用いて最適化し、MMMで統合された予測に対してバイナリクロスエントロピー損失を適用することで、弱いラベルからのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 弱いラベルのみが利用可能な状況において、マルチインスタンス学習設定における新しい損失関数が、音声イベント検出性能を向上させることができるか？
• RQ2 損失関数に平均値および最小値の活性化成分を組み込むことで、標準的な最大値のみの損失と比較して、まれまたは短時間のイベントの検出に与える影響は何か？
• RQ3 提案されたMMM損失は、偽の強いラベル付けで見られるように、正例録音のすべての予測を0.5の閾値を超えて予測してしまう傾向を軽減するか？
• RQ4 低リソース設定において、鳥の鳴き声や哺乳類の鳴き声といった異なる種類の音声イベントに対して、モデルはどのように一般化するか？
• RQ5 提案手法は、低リソース音声検出ベンチマークにおいて、既存の弱教師ありベースラインを上回るF1スコアを達成できるか？

主な発見

• MMM損失は、NIPS4BおよびDCASE 2018の両データセットにおいて、偽の強いラベル付けおよび標準的な最大値のみの損失と比較して、F1スコアで優れた性能を示した。
• MMM損失で訓練されたモデルは、最大値のみの損失が顕著なイベントの間のイベントを無視するのに対し、より繊細で短時間のイベントを検出していることが、定性的な比較で示された。
• 損失関数に平均項を組み込むことで、特に後期のエポックにおいて、F1スコアがより高く安定するようになった。
• MMM損失で訓練されたモデルは、偽の強いラベル付けのように、正例録音のすべての予測を0.5の閾値を超えて押し上げる傾向を回避した。
• 強化された時間的アノテーションを必要とせず、低リソース音声イベント検出タスクに適した性能向上を達成した。
• 提案手法は、鳥の鳴き声検出および哺乳類の鳴き声検出タスクの両方で、異なる音声イベントタイプにわたって良好な汎用性を示した。