[論文レビュー] SoundDet: Polyphonic Moving Sound Event Detection and Localization from Raw Waveform

Yuhang He, Niki Trigoni+1 more|arXiv (Cornell University)|Jun 13, 2021

Music and Audio Processing被引用数 10

ひとこと要約

SoundDet は、スペクトル前処理を経ずに生波形を直接処理するエンドツーエンドで軽量なフレームワークであり、多音源の移動音声イベント検出と局在化を実現する。音声イベントを完全な「音声オブジェクト」として扱い、発生時刻、終了時刻、継続時間、分類、方向性を統合的に扱うオブジェクト中心のアプローチを採用し、段階的検出に依存しない。段階的検出に依存する従来手法の限界を克服し、位相および周波数に敏感な MaxCorr フィルターバンク、時間的重複度と運動の滑らかさを反映する密なイベントプロポーザル、効率的な計算コストを実現しながら、セグメントベースと新規イベントベースの両評価指標で最先端の性能を達成する。

ABSTRACT

We present a new framework SoundDet, which is an end-to-end trainable and light-weight framework, for polyphonic moving sound event detection and localization. Prior methods typically approach this problem by preprocessing raw waveform into time-frequency representations, which is more amenable to process with well-established image processing pipelines. Prior methods also detect in segment-wise manner, leading to incomplete and partial detections. SoundDet takes a novel approach and directly consumes the raw, multichannel waveform and treats the spatio-temporal sound event as a complete "sound-object" to be detected. Specifically, SoundDet consists of a backbone neural network and two parallel heads for temporal detection and spatial localization, respectively. Given the large sampling rate of raw waveform, the backbone network first learns a set of phase-sensitive and frequency-selective bank of filters to explicitly retain direction-of-arrival information, whilst being highly computationally and parametrically efficient than standard 1D/2D convolution. A dense sound event proposal map is then constructed to handle the challenges of predicting events with large varying temporal duration. Accompanying the dense proposal map are a temporal overlapness map and a motion smoothness map that measure a proposal's confidence to be an event from temporal detection accuracy and movement consistency perspective. Involving the two maps guarantees SoundDet to be trained in a spatio-temporally unified manner. Experimental results on the public DCASE dataset show the advantage of SoundDet on both segment-based and our newly proposed event-based evaluation system.

研究の動機と目的

• 音声イベント検出と局在化において、手作業で設計された時間周波数表現やセグメント単位での検出に依存する従来手法の限界を是正すること。
• 音声イベントを発生時刻、終了時刻、継続時間、分類、方向性を有する完全な「音声オブジェクト」として扱い、時間的検出と空間的局在化を統合的に1つのエンドツーエンドフレームワークで実現すること。
• スペクトログラム前処理の必要性を排除し、位相情報や周波数情報を保持することで、重なり合う音声イベントを区別する上で重要な情報を損なわず、計算コストを低減すること。
• 従来のセグメントベース評価指標よりも、イベントの完全性と継続性をより適切に反映する新しいイベントベース評価指標を提案すること。
• 運動の一貫性と境界に敏感な信頼度マップを組み込むことで、長時間継続するおよび移動する音声イベントの検出耐性を向上させること。

提案手法

• SoundDet は、位相に敏感で周波数選択性を持つ低パラメータ・低計算コストのフィルターバンクである新規 MaxCorr フィルターバンクを用いて、生マルチチャネル波形を直接入力する。
• バックボーンネットワークは、ストライド付き1次元畳み込みと逆畳み込みを経て、長距離時間的依存性を捉えるために双方向GRUを適用する。
• すべての時間ステップにわたるイベント候補を予測するための密なプロポーザルマップを生成し、時間的重複度と運動の滑らかさマップから関連する信頼度スコアを取得する。
• 2つの並列ヘッドを用いる：1つはマルチラベル分類（イベント分類）、もう1つは空間的局在化（DoA）で、両者とも特徴マップからの回帰によって実現する。
• 運動の滑らかさマップにより、予測が時間的に一貫性を持つようになり、移動音声イベントの局在化精度が向上する。
• イベントベースの評価システムを導入し、さまざまな信頼度閾値でmAPとmARを計算することで、イベントの完全性と継続性を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドフレームワークがスペクトル前処理を経ずに生波形を直接処理し、多音源の移動音声イベント検出と局在化を実現できるか？
• RQ2 時間的継続時間と運動の一貫性を有する完全な「音声オブジェクト」として音声イベントをモデル化することで、セグメント単位アプローチと比較して検出性能がどのように向上するか？
• RQ3 運動の滑らかさマップと時間的重複度マップを組み込むことで、局在化精度とイベント完全性にどのような影響を与えるか？
• RQ4 提案されたイベントベース評価指標は、標準的なセグメントベース評価指標と比較して、現実世界の検出性能をどのようにより適切に反映するか？
• RQ5 MaxCorr のような軽量でパラメータ効率の良いフィルターバンクは、音声イベント検出において、標準的な1次元／2次元畳み込みと比較して、方向性および周波数情報を効果的に保持できるか？

主な発見

• SoundDet は SELDNet を上回り、EIN と同等の性能を示しながらも、はるかに少ないパラメータ数を実現し、その効率性と有効性を示している。
• 運動の滑らかさマップの導入により顕著な性能向上が得られ、移動音声イベントの正確な局在化においてその重要性が裏付けられた。
• イベントベース評価指標において、すべての既存手法を上回る最高水準のmAPとmARを達成し、優れたイベント完全性と継続性モデリングを示している。
• DCASE 2019 データセットにおいて、長時間継続するおよび重なり合う音声イベントの検出において、特に優れた性能を発揮しており、セグメント単位ベースラインが苦手としているタスクを効果的に処理している。
• 推論時間は SELDNet と同等（1分あたり1.25秒）であり、EIN よりも約2倍速く、計算効率性が確認された。
• MaxCorr フィルターバンクは生波形からの有効な表現学習を可能にし、FOAフォーマットではMICフォーマットよりも優れた性能を示し、パラメータ効率性において標準畳み込みを上回っている。