[論文レビュー] The impact of non-target events in synthetic soundscapes for sound event detection

Ronchini, Francesca, Serizel, Romain+2 more|arXiv (Cornell University)|Sep 28, 2021

Noise Effects and Management被引用数 4

ひとこと要約

本稿では、音声イベント検出（SED）のための合成サウンドスケープにおける非ターゲット音声イベントの影響を調査し、トレーニング時にそれらを含め、検証時に除外することで、両方の段階で非ターゲットイベントを使用するベースラインと比較して検出性能が向上することを示している。最高の結果は、ターゲット対非ターゲット信号対ノイズ比（TNTSNR）が10 dBのときを得られ、非ターゲットイベントを用いたトレーニングは、非ターゲットのみのクリップにおける誤検出を低減した。

ABSTRACT

Detection and Classification Acoustic Scene and Events Challenge 2021 Task 4 uses a heterogeneous dataset that includes both recorded and synthetic soundscapes. Until recently only target sound events were considered when synthesizing the soundscapes. However, recorded soundscapes often contain a substantial amount of non-target events that may affect the performance. In this paper, we focus on the impact of these non-target events in the synthetic soundscapes. Firstly, we investigate to what extent using non-target events alternatively during the training or validation phase (or none of them) helps the system to correctly detect target events. Secondly, we analyze to what extend adjusting the signal-to-noise ratio between target and non-target events at training improves the sound event detection performance. The results show that using both target and non-target events for only one of the phases (validation or training) helps the system to properly detect sound events, outperforming the baseline (which uses non-target events in both phases). The paper also reports the results of a preliminary study on evaluating the system on clips that contain only non-target events. This opens questions for future work on non-target subset and acoustic similarity between target and non-target events which might confuse the system.

研究の動機と目的

• 合成サウンドスケープにおける非ターゲットイベントの含め方がSEDシステムのパフォーマンスに与える影響を調査すること。
• トレーニング、検証、または両方の段階で非ターゲットイベントを使用することで、検出精度が向上するかどうかを特定すること。
• ターゲット対非ターゲット信号対ノイズ比（TNTSNR）がSEDパフォーマンスに与える影響を分析すること。
• 非ターゲットのみのクリップにおける誤検出率を評価し、ターゲットと非ターゲットイベントの間の音響的誤解を特定すること。
• 非ターゲットイベントの分布と同時発生の影響が、モデルの汎化性とロバストネスに与える影響を調査すること。

提案手法

• Scaperを用いて、タイミングと空間化を制御した個別のターゲットおよび非ターゲット音声イベントを組み合わせた合成サウンドスケープを生成した。
• 3つのトレーニング設定を評価した：ターゲットイベントのみを使用する、トレーニングでターゲットおよび非ターゲットイベントを両方使用する、検証でのみ非ターゲットイベントを使用する。
• トレーニング中に信号対ノイズ比（TNTSNR）を系統的に変化させ、検出パフォーマンスへの影響を評価した。
• 非ターゲットイベントのみを含むクリップを用いた予備評価を行い、クラスごとの誤検出率を測定した。
• DESEDデータセットを用いてモデルをトレーニングおよび検証し、F1スコアや等価誤り率（EER）などの標準的なSEDメトリクスを用いてパフォーマンスを測定した。
• すべての実験はDCASE 2021 Task 4のベースラインシステムを用い、再現性を確保するためコードと事前学習済みモデルを公開した。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時に非ターゲットイベントを含めることで、検証時のみまたは全く含めない場合と比較して、音声イベント検出性能が向上するか？
• RQ2 合成サウンドスケープのトレーニングにおいて、SEDパフォーマンスを最大化する最適なターゲット対非ターゲット信号対ノイズ比（TNTSNR）は何か？
• RQ3 非ターゲットイベントがトレーニングに含まれているかどうかに応じて、非ターゲットのみのクリップにおける誤検出はどのように変化するか？
• RQ4 ターゲットと非ターゲットイベントの音響的類似性が、モデルの誤解と誤報にどの程度寄与しているか？
• RQ5 非ターゲットイベントの分布と同時発生の影響が、SEDモデルの汎化性とロバストネスに与える影響はどの程度か？

主な発見

• 非ターゲットイベントをトレーニングでのみ使用し、検証では使用しない設定が、両方の段階で非ターゲットイベントを使用するベースラインと比較して、より優れた検出パフォーマンスを達成した。
• TNTSNRが10 dBのとき、全体として最高のパフォーマンスが得られ、低めおよび高めの比と比較して優れていた。
• 非ターゲットイベントを用いたトレーニングは、非ターゲットのみのクリップにおける誤検出を顕著に低減した。特にDishesやSpeechなどのクラスで顕著であった。
• 非ターゲットイベントがトレーニングに含まれていない場合、非ターゲットのみのクリップにおける誤検出率が高くなり、ロバストネスが低下していることが示された。
• 結果から、合成と実際のサウンドスケープにおけるTNTSNRの不一致がパフォーマンスの低下に寄与している可能性があるが、それだけが要因ではないことが示唆された。
• 特定のクラス（例：Dishes）では、元のイベント分布と誤報率の間に顕著な乖離が見られ、潜在的な音響的誤解が生じている可能性があり、今後の調査が求められる。