[論文レビュー] DCASE 2021 Task 3: Spectrotemporally-aligned Features for Polyphonic Sound Event Localization and Detection

Thi Ngoc Tho Nguyen, Karn N. Watcharasupat+3 more|arXiv (Cornell University)|Jun 25, 2021

Music and Audio Processing参考文献 24被引用数 16

ひとこと要約

本論文は、ログスペクトログ램、直接音対リバーブ比（DRR）、空間共分散行列の正規化された主固有ベクトルを統合することで、音声コンテンツと到来方向（DOA）情報の間で正確な時間周波数同期を実現する、新しいマルチチャネル特徴SALSAを提案する。SALSAで訓練されたディーブラーニングモデルは、DCASE 2021ベースラインを大きく上回り、方向性の干渉がある状況下でも、多音源音声イベント検出と局所化（SPLD）で最先端の性能を達成した。

ABSTRACT

Sound event localization and detection consists of two subtasks which are sound event detection and direction-of-arrival estimation. While sound event detection mainly relies on time-frequency patterns to distinguish different sound classes, direction-of-arrival estimation uses magnitude or phase differences between microphones to estimate source directions. Therefore, it is often difficult to jointly train these two subtasks simultaneously. We propose a novel feature called spatial cue-augmented log-spectrogram (SALSA) with exact time-frequency mapping between the signal power and the source direction-of-arrival. The feature includes multichannel log-spectrograms stacked along with the estimated direct-to-reverberant ratio and a normalized version of the principal eigenvector of the spatial covariance matrix at each time-frequency bin on the spectrograms. Experimental results on the DCASE 2021 dataset for sound event localization and detection with directional interference showed that the deep learning-based models trained on this new feature outperformed the DCASE challenge baseline by a large margin. We combined several models with slightly different architectures that were trained on the new feature to further improve the system performances for the DCASE sound event localization and detection challenge.

研究の動機と目的

• 重なった音源と方向性の干渉を伴う多音源音声において、音声イベント検出（SED）と到来方向（DOA）推定を同時に最適化する課題に対処すること。
• 従来の特徴（例：ログメルスペクトログラムや強度ベクトル）では、時間周波数パターン（SED用）と空間的ヒント（DOA用）のずれが生じる問題を克服すること。
• 特に干渉下でも、複数音源の状況において、音声クラスとDOAの間で正確な時間周波数対応を維持できる特徴を開発すること。
• エンドツーエンドのディープラーニングモデルにおけるスペクトロテラルおよび空間的情報の融合を向上させることで、SPLD性能を向上させること。

提案手法

• 各時間周波数チャンクで、ログスペクトログラム、DRR、空間共分散行列の正規化された主固有ベクトルを統合したマルチチャネル特徴SALSAを提案する。
• すべての成分を共通の時間周波数グリッドに合わせることで、信号電力とDOAの間で正確な時間周波数マッピングを保証する。
• SALSAを入力として使用し、双方向GRUまたはLSTMを備えたCRNNと、マルチヘッド自己注意（MHSA）を用いたデコードを採用したエンドツーエンドのSPLDモデルを訓練する。
• 推論時の一般化性と耐性を高めるために、16の空間的拡張を用いた推論時拡張（TTA）を適用する。
• 多様なアーキテクチャを持つ複数のモデルをアンサンブル化し、SPLDアンサンブルとSEDアンサンブルを構築した後、最終予測のための統合を実施する。
• 同じクラスの重複イベントの処理を容易にし、性能を向上させるために、クラスごとの出力ヘッドを採用する。

実験結果

リサーチクエスチョン

• RQ1 時間周波数的に整合した特徴が、方向性の干渉を伴う多音源音声において、音声イベント検出と到来方向推定の共同学習を改善できるか？
• RQ2 スペクトロテラルコンテンツと空間的ヒントの間で正確な時間周波数対応を維持することで、従来の特徴よりもSPLD性能が向上するか？
• RQ3 標準的なログメルスペクトログラムや強度ベクトルと比較して、提案されたSALSA特徴は、重複音声イベントや干渉の処理においてどのように優れているか？
• RQ4 推論時拡張（TTA）とモデルアンサンブル戦略が、SALSAで訓練されたSPLDシステムの耐性と正確性をどの程度向上させるか？
• RQ5 SALSAは、実世界のデータセットに多く見られる重複した同じクラスのイベントの区別を、どの程度改善できるか？

主な発見

• SALSAで訓練されたモデルは、DCASE 2021ベースライン（LM/IV）を大きく上回り、テストセットにおいて合算検出・局所化スコア（LR_CD）で42.6％の相対的改善を達成した。
• 最良のシステム（システムD）は、LR_CDが0.756、ER≤20°が0.378、F1≤20°が0.740を達成し、ベースライン（LR_CD：0.439）を著しく上回った。
• SALSAで訓練されたGRUモデル（TTAを適用）は、ER≤20°が0.404、F1≤20°が0.702を達成し、ベースラインのLM/IVモデル（ER≤20°：0.690、F1≤20°：0.339）を上回った。
• 推論時拡張（TTA）の適用により、非拡張推論と比較してER≤20°が10.4％低下し、F1≤20°が10.9％上昇した。これは、TTAの有効性を示している。
• 複数のSPLDモデルをアンサンブル化し、SEDアンサンブルと統合することでさらに性能が向上し、最終システムは最良の単一モデルと比較してLR_CDで1.6％の絶対的向上を達成した。
• SALSA特徴は、DCASE 2021データセット全体の10.45％を占める重複した同じクラスのイベントの解消を、細かく整列された空間的およびスペクトル的情報を維持することで可能にした。