[論文レビュー] Sound Event Detection Transformer: An Event-based End-to-End Model for Sound Event Detection

Zhirong Ye, Xiangdong Wang+5 more|arXiv (Cornell University)|Oct 5, 2021

Music and Audio Processing参考文献 45被引用数 13

ひとこと要約

本稿では、音声イベント検出のためのエンド・ツー・エンドでイベントベースのモデルである音声イベント検出Transformer（SEDT）を提案する。SEDTは、1次元検出Transformer（1D-DETR）を用い、音声クエリブランチと1対多マッチング戦略を備えたもので、直接的にイベントの境界とラベルを予測する。SEDTは、後処理を排除することでフレームベースモデルを上回り、局所化と分類の共同最適化によりイベントレベルの検出を向上させ、URBAN-SEDおよびDCASE2019 Task4で競争力のある結果を達成している。

ABSTRACT

Sound event detection (SED) has gained increasing attention with its wide application in surveillance, video indexing, etc. Existing models in SED mainly generate frame-level prediction, converting it into a sequence multi-label classification problem. A critical issue with the frame-based model is that it pursues the best frame-level prediction rather than the best event-level prediction. Besides, it needs post-processing and cannot be trained in an end-to-end way. This paper firstly presents the one-dimensional Detection Transformer (1D-DETR), inspired by Detection Transformer for image object detection. Furthermore, given the characteristics of SED, the audio query branch and a one-to-many matching strategy for fine-tuning the model are added to 1D-DETR to form Sound Event Detection Transformer (SEDT). To our knowledge, SEDT is the first event-based and end-to-end SED model. Experiments are conducted on the URBAN-SED dataset and the DCASE2019 Task4 dataset, and both show that SEDT can achieve competitive performance.

研究の動機と目的

• 既存のSEDモデルにおけるフレームレベルの予測とイベントレベルの検出の不整合を解消すること。
• エンド・ツー・エンドで直接イベントレベルの出力を可能にすることで、後処理の必要性を排除すること。
• フレームレベル分類をイベントベース学習に置き換えることで、モデルの汎化性能を向上させ、ハイパーパrameterへの感受性を低減すること。
• 合成データを用いた弱教師付き学習により、局所化を推定するための音声イベント検出（SED）における弱教師付き学習を可能にすること。
• フレームレベルの監視に依存せずに、イベントの局所化と分類を同時に最適化するモデルを構築すること。

提案手法

• 画像におけるオブジェクト検出から拡張された1次元検出Transformer（1D-DETR）を音声信号に適応する。
• イベントクエリにカテゴリ固有の事前知識を組み込むために、音声クエリブランチを導入する。
• 訓練中に1対多マッチング戦略を採用し、複数の予測を1つの正例イベントに一致させることで、再現率を向上させる。
• イベント検出をガイドするため、音声イベント埋め込みで初期化された学習可能なクエリ埋め込みを用いる。
• 予測の精練を図るため、IoU閾値（ε）と信頼度閾値（α）に基づく動的マッチングを用いたファインチューニング段階を適用する。
• 予測後の精度と再現率のバランスを取るために、イベントレベル分類統合戦略（例：P1, P2）を統合する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドでイベントベースの検出フレームワークは、フレームベースモデルを上回ることができるか？
• RQ2 フレームレベルの監視に依存せずに、イベントレベルの局所化と分類をどのように同時に最適化できるか？
• RQ3 1対多マッチングとクエリベース初期化は、モデルの再現率と精度にどのような影響を与えるか？
• RQ4 合成データを用いることで、強いアノテーションがなくても弱教師付きの局所化が可能になるか？
• RQ5 ハイパーパrameter ε と α は、最終予測における精度と再現率のトレードオフにどのように影響するか？

主な発見

• 1対多マッチングを用いたファインチューニング後、SEDTはベースラインモデルと比較して、イベントベースのマクロF1が2.27%向上し、セグメントベースのマクロF1が0.89%向上した。
• 1対多マッチング戦略により、「空」クラスとラベル付けされる予測の数が減少し、再現率が向上し、見逃し検出が減少した。
• 可視化結果から、ファインチューニング後の予測が真のイベントに集中しており、境界の局所化が向上し、誤って否定されるケースが減少していることが示された。
• 戦略1（精度に焦点を当てたもの）はファインチューニング後に最も優れた性能を示し、再現率に焦点を当てた戦略と組み合わせることで相乗効果が得られることを示した。
• ハイパーパrameterチューニングの結果、εは顕著な影響を示したが、αは中程度の影響を示した。最適な設定は ε > 0 かつ α < 2 であった。
• SEDTはURBAN-SEDおよびDCASE2019 Task4の両データセットで競争力ある性能を示し、実世界のSEDシナリオにおける有効性を検証した。