[論文レビュー] A Four-Stage Data Augmentation Approach to ResNet-Conformer Based Acoustic Modeling for Sound Event Localization and Detection

Qing Wang, Jun Du+4 more|arXiv (Cornell University)|Jan 8, 2021

Speech and Audio Processing参考文献 61被引用数 24

ひとこと要約

本論文では、音声チャネルの入れ替え、マルチチャネルシミュレーション、時間領域混合、時間周波数マスクを組み合わせた4段階のデータ拡張手法と、ResNet-Conformerアーキテクチャを組み合わせることで、音声イベントの局所化と検出（SELD）の性能を向上させることを提案する。この手法はモデルの一般化性能と性能を顕著に向上させ、DCASE 2020および2022年のSELDコンテストで1位を達成し、SELDスコアをそれぞれ0.40から0.17および0.28に低下させた。

ABSTRACT

In this paper, we propose a novel four-stage data augmentation approach to ResNet-Conformer based acoustic modeling for sound event localization and detection (SELD). First, we explore two spatial augmentation techniques, namely audio channel swapping (ACS) and multi-channel simulation (MCS), to deal with data sparsity in SELD. ACS and MDS focus on augmenting the limited training data with expanding direction of arrival (DOA) representations such that the acoustic models trained with the augmented data are robust to localization variations of acoustic sources. Next, time-domain mixing (TDM) and time-frequency masking (TFM) are also investigated to deal with overlapping sound events and data diversity. Finally, ACS, MCS, TDM and TFM are combined in a step-by-step manner to form an effective four-stage data augmentation scheme. Tested on the Detection and Classification of Acoustic Scenes and Events (DCASE) 2020 data set, our proposed augmentation approach greatly improves the system performance, ranking our submitted system in the first place in the SELD task of the DCASE 2020 Challenge. Furthermore, we employ a ResNet-Conformer architecture to model both global and local context dependencies of an audio sequence and win the first place in the DCASE 2022 SELD evaluations.

研究の動機と目的

• データ拡張を用いて、学習データが限られる低リソースなSELD環境におけるデータスパarsityと過学習の問題を解決すること。
• 空間的および時間的変動に強い耐性を付与するため、方向性および時間的拡張を用いて重複音声イベントに対する耐性を高めること。
• 局所的およびグローバルな音声コンテキストを捉えるハイブリッド音響モデルを構築し、SELD性能を向上させること。
• DCASE 2020および2022年のSELDベンチマークデータセットにおいて、最先端の性能を達成すること。

提案手法

• ステレオ録音のマイクチャネルをランダムに交換することで、到達方向（DOA）表現を拡張する音声チャネルの入れ替え（ACS）を導入する。
• 個々の音声イベント用に現実的なマルチチャネル音声を合成することで、DOAの多様性を高めるマルチチャネルシミュレーション（MCS）を提案する。
• 信号対雑音比を変化させた音声セグメントを混合することで、重複音声イベントをシミュレートする時間領域混合（TDM）を適用する。
• スペクトルのばらつきを増強し、ノイズおよび重複イベントに対する耐性を高めるために、時間周波数マスク（TFM）を採用する。
• 4つの拡張ステージを段階的パイプラインとして組み合わせ、訓練データの多様性を段階的に向上させる。
• 畳み込み層と自己注意メカニズムを統合したResNet-Conformerアーキテクチャを用い、音声系列における局所的および長距離依存性をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 どのようなデータ拡張技術が、学習データが限られる低リソースなSELD状況における一般化性能の向上に寄与するか？
• RQ2 ACS や MCS といった空間的拡張手法は、SELDシステムにおける DOA 評価の耐性をどの程度向上させるか？
• RQ3 ハイブリッドな ResNet-Conformer アーキテクチャは、SELD における局所的およびグローバルな音声コンテキストを捉える点で、従来のモデルを上回る性能を示せるか？
• RQ4 ステージごとのマルチフェーズ的データ拡張戦略は、単一またはランダムな拡張と比較して、SELD性能にどのように影響を与えるか？
• RQ5 空間的、時間的、スペクトル的拡張を組み合わせることで、重複音声イベントの検出および局所化にどのような影響を与えるか？

主な発見

• 4段階のデータ拡張手法により、DCASE 2020データセットにおけるSELDスコアが0.40から0.17に低下し、相対的な改善率は57.5%に達した。
• ベースラインと比較して、F20°は0.27%向上し、局所化誤差（LECD）は15.4%低減した。
• 完全なデータ拡張を施したResNet-Conformerモデルは、DCASE 2020で0.17のSELDスコアを達成し、コンテストで1位を獲得した。
• DCASE 2022では、アンサンブル戦略を用いることで、ResNet-Conformer単体のSELDスコア0.47から0.28に低下し、1位を獲得した。
• 可視化結果から、拡張を施したモデルは短時間および重複するイベントを正しく検出できたが、拡張なしのモデルはこれらのケースで失敗していた。
• 性能向上は特に重複およびトランジェント（瞬発的）なイベントに対して顕著であり、複雑な音響状況に対処するうえで、拡張手法の有効性が示された。