[論文レビュー] Sound Event Localization and Detection for Real Spatial Sound Scenes: Event-Independent Network and Data Augmentation Chains

Jinbo Hu, Yin Cao+5 more|arXiv (Cornell University)|Sep 5, 2022

Music and Audio Processing被引用数 4

ひとこと要約

本論文は、FSD50K、AudioSet、およびTAU-SRIR DBからのシミュレーテッドデータを活用し、Conformerベースの特徴抽出と確率的データ拡張チェーンを用いた、イベント独立型ネットワークV2（EINV2）を提案する。マルチヘッド自己注意機構とソフトパラメータ共有を用いることで、実空間音響環境における音声イベントの局所化と検出（SELD）の分野で、DCASE 2022 タスク3チャレンジで2位を達成し、クラス不均衡や環境変動に対する一般化性能とロバスト性の向上を示した。

ABSTRACT

Sound event localization and detection (SELD) is a joint task of sound event detection and direction-of-arrival estimation. In DCASE 2022 Task 3, types of data transform from computationally generated spatial recordings to recordings of real-sound scenes. Our system submitted to the DCASE 2022 Task 3 is based on our previous proposed Event-Independent Network V2 (EINV2) with a novel data augmentation method. Our method employs EINV2 with a track-wise output format, permutation-invariant training, and a soft parameter-sharing strategy, to detect different sound events of the same class but in different locations. The Conformer structure is used for extending EINV2 to learn local and global features. A data augmentation method, which contains several data augmentation chains composed of stochastic combinations of several different data augmentation operations, is utilized to generalize the model. To mitigate the lack of real-scene recordings in the development dataset and the presence of sound events being unbalanced, we exploit FSD50K, AudioSet, and TAU Spatial Room Impulse Response Database (TAU-SRIR DB) to generate simulated datasets for training. We present results on the validation set of Sony-TAu Realistic Spatial Soundscapes 2022 (STARSS22) in detail. Experimental results indicate that the ability to generalize to different environments and unbalanced performance among different classes are two main challenges. We evaluate our proposed method in Task 3 of the DCASE 2022 challenge and obtain the second rank in the teams ranking. Source code is released.

研究の動機と目的

• 合成データの分布が現実世界の条件と一致しない実空間音響環境における音声イベントの局所化と検出（SELD）の課題に対処する。
• 同クラスのイベントが異なる場所に存在する場合（同質的重複）の区別ができない既存モデルの限界を、イベントに依存しないトラック単位の出力フォーマットを用いることで克服する。
• 多様な環境におけるモデルの一般化を向上させるとともに、実環境の記録におけるクラス不均衡に起因する性能低下を軽減する。
• 特徴の多様性とロバスト性を向上させるために、確率的チェーンとしての複数の拡張操作をランダムに選択・重ねる、新しいデータ拡張戦略を開発する。
• FSD50K、AudioSetなどの外部データセットと、測定済みの部屋インパulse応答（TAU-SRIR DB）を活用し、現実的なシミュレーテッドトレーニングデータを生成することで、モデル性能を向上させる。

提案手法

• イベントに依存しないネットワークV2（EINV2）を採用し、各トラックが独立して音声イベントを予測するトラック単位の出力フォーマットを採用。これにより、異なる場所に存在する同クラスイベントの検出が可能となる。
• 複数のヘッド自己注意（MHSA）とトラック間のソフトパラメータ共有戦略を統合し、マルチタスク学習を可能にするとともに、一般化性能を向上させる。
• EINV2に畳み込みと自己注意メカニズムを組み合わせたConformerブロックを拡張し、局所的およびグローバルな時間周波数特徴を捉える。
• 複数の拡張操作をランダムに抽出し、重ねて適用することで多様なトレーニングサンプルを生成する、確率的チェーンとしての新規データ拡張手法を実装。
• FSD50KおよびAudioSetの音声イベントを、TAU-SRIR DBの測定済みの部屋インパulse応答と確率的に畳み込むことで、実空間音響シーンを模倣するシミュレーテッドトレーニングデータを生成。
• 入力特徴として、1次元畳み込み層を介して生波形から直接計算されるログメルスペクトログラムと、ログメル空間における強度ベクトル（IVs）を用いる。エンドツーエンドのデータ拡張サポートを実現。

実験結果

リサーチクエスチョン

• RQ1 多様な現実世界の音響環境に一般化できる音声イベントの局所化と検出モデルをどのように構築できるか？
• RQ2 トレーニングデータが限られたり、テスト条件と不一致である場合、データ拡張チェーンがどの程度モデルの一般化を向上させられるか？
• RQ3 ソフトパラメータ共有を用いたイベントに依存しないネットワークは、異なる空間的位置に複数存在する同じ音声クラスのイベントを効果的に検出できるか？
• RQ4 シミュレーテッドデータでトレーニングしたモデルの性能は、公式の合成ミキシングデータでトレーニングしたモデルと比較して、実空間音響環境においてどのように異なるか？
• RQ5 実環境の複雑な空間的関係と不均衡なクラス分布に対処する際、SELDシステムの性能低下の主な要因は何か？

主な発見

• 提案手法はDCASE 2022 タスク3チャレンジで2位という最高順位を達成し、公式ベースラインモデルを上回った。
• EINV2にデータ拡張チェーンを適用した場合、拡張なしのEINV2に比べて性能が顕著に向上し、確率的拡張チェーンの有効性が裏付けられた。
• 「ノック」クラスでは20°の空間的閾値下でF1スコア80.0%を達成したが、「水の蛇口やfaucet」クラスではわずか2.2%にとどまり、顕著なクラスごとの性能不均衡が確認された。
• 部屋2での局所化性能が最も悪く、これは部屋が小さいことが原因とされる。また、部屋24では「歩行、足音」クラスの局所化リコールが0.0%にとどまり、合成データの品質に問題がある可能性が示唆された。
• 部屋24における「水の蛇口やfaucet」クラスの性能が著しく低下したのは、干渉イベント（「食器、鍋、フライパン」など）との時間的・空間的重複が適切にシミュレートされていなかったためと推察された。
• FSD50K、AudioSet、およびTAU-SRIR DBからのシミュレーテッドデータは、公式の合成ミキシングデータよりも効果的であることが判明し、現実的なデータ拡張の価値が示された。