[論文レビュー] Adaptive pooling operators for weakly labeled sound event detection

Brian McFee, Justin Salamon+1 more|arXiv (Cornell University)|Apr 26, 2018

Music and Audio Processing参考文献 43被引用数 7

ひとこと要約

本論文は、弱教師付き音声イベント検出（SED）の性能を向上させるために、標準的なプーリング手法（例：max、mean、min）を動的に補間する適応的プーリング演算子（auto-pool）を提案する。トレーニング中にプーリング戦略を同時に学習することで、静的で弱教師付きデータのみを用いても、強教師付きモデルにほぼ匹敵する性能を達成し、アノテーションコストを顕著に削減する。

ABSTRACT

Sound event detection (SED) methods are tasked with labeling segments of audio recordings by the presence of active sound sources. SED is typically posed as a supervised machine learning problem, requiring strong annotations for the presence or absence of each sound source at every time instant within the recording. However, strong annotations of this type are both labor- and cost-intensive for human annotators to produce, which limits the practical scalability of SED methods. In this work, we treat SED as a multiple instance learning (MIL) problem, where training labels are static over a short excerpt, indicating the presence or absence of sound sources but not their temporal locality. The models, however, must still produce temporally dynamic predictions, which must be aggregated (pooled) when comparing against static labels during training. To facilitate this aggregation, we develop a family of adaptive pooling operators---referred to as auto-pool---which smoothly interpolate between common pooling operators, such as min-, max-, or average-pooling, and automatically adapt to the characteristics of the sound sources in question. We evaluate the proposed pooling operators on three datasets, and demonstrate that in each case, the proposed methods outperform non-adaptive pooling operators for static prediction, and nearly match the performance of models trained with strong, dynamic annotations. The proposed method is evaluated in conjunction with convolutional neural networks, but can be readily applied to any differentiable model for time-series label prediction.

研究の動機と目的

• 音声イベント検出（SED）における強力な時間的アノテーションの高コストを低減するため、強力なインスタンスレベルのアノテーションに依存せず、弱教師付きデータからの学習を可能にする。
• 短い音声クリップ内でラベルが静的である複数インスタンス学習（MIL）の設定において、静的予測性能を向上させる。
• 音声イベントの時間的特性に適応可能な微分可能で学習可能なプーリング機構を開発する。
• 動的予測精度を損なわずに強力なアノテーションに依存するのを減らす。
• SEDにとどまらず、時系列解析における他のMIL問題へもこのアプローチを一般化する。

提案手法

• 標準的なプーリング関数（min、max、mean）間のソフトな補間を微分可能パrameterizationによって学習する、適応的プーリング演算子の族であるauto-poolを提案する。
• プーリング動作を制御する学習可能なパrameter α を用い、各音声セグメントごとに最も適切なプーリング戦略を動的に選択可能にする。
• バックプロパゲーション中の勾配伝播を安定化させるために、ソフトマックスに類似した変換を導入し、ハードマックスプーリングに比べて安定性を向上させる。
• 過学習を制御し一般化性能を向上させるためのハイパーパrameter λ を持つ正則化変種（RAP）を導入する。
• 弱教師付きデータからのエンドツーエンド学習を可能にするために、畳み込みニューラルネットワーク（CNN）とプーリング演算子を同時にトレーニングする。
• 任意の微分可能な時系列予測モデルに統合可能な微分可能なプーリングレイヤーを採用する。

実験結果

リサーチクエスチョン

• RQ1 固定プーリング手法と比較して、適応的プーリング演算子は弱教師付きSEDにおける静的予測性能を向上させることができるか？
• RQ2 提案されたauto-pool手法は、強力なインスタンスレベルアノテーションでトレーニングされたモデルと同等の動的予測精度を達成できるか？
• RQ3 イベント継続時間やスパarsityに応じたモデルの適応性が、多様なデータセットにおける性能にどのように影響するか？
• RQ4 非適応的ベースラインと比較して、微分可能で学習可能なプーリング機構は、静的および動的評価指標の両面で優れた性能を示すか？
• RQ5 正則化の影響は、auto-pool戦略の一般化性能およびロバストネスにどのように現れるか？

主な発見

• 制約なしのauto-poolは、3つのすべてのデータセットで最高の静的予測スコアを達成し、固定プーリング演算子を上回った。
• auto-poolモデルは、強力なアノテーションでトレーニングされたモデルとほぼ同等の動的予測精度を達成しており、優れた一般化性能を示した。
• マックスプーリングは長時間継続するイベントでは性能が低く、ミーンプーリングは短時間でスパースなイベントで困難を示すため、固定プーリングの限界が顕在化した。
• 最適化された λ を持つ正則化auto-pool（RAP）は、非正則化バージョンを常に上回り、すべてのデータセットで最良の性能を達成した。
• 最適化目的関数がピーク活性化に焦点を当てるため、auto-pool手法は特にマックスに近いプーリング動作をとる場合、再現率よりも適合率を重視する傾向を示した。
• 弱教師付きラベルとauto-poolを用いてトレーニングしたモデルは、強教師付き学習と同等の性能を達成しており、大規模な弱教師付きSEDの実現可能性を裏付けた。