[論文レビュー] An Improved Event-Independent Network for Polyphonic Sound Event Localization and Detection

Yin Cao, Turab Iqbal+4 more|View|Oct 25, 2020

Music and Audio Processing参考文献 29被引用数 8

ひとこと要約

本稿では、トラック単位の出力形式と順列不変訓練（PIT）を用いたエンドツーエンドのモデル、Event-Independent Network V2（EINV2）を提案する。このモデルは、同じ種類の重複イベントを異なる方向の到来（DoA）で検出可能にし、マルチヘッド自己注意（MHSA）を用いてトラックの順列を解消する。さらに、ハードなパラメータ共有を緩和するソフトパラメータ共有スキームを導入し、SEDとDoA推定の共同学習を実現。性能劣化を伴わず、単一のVGGスタイルのネットワークで最先端のアンサンブルモデルと同等の性能を達成する。

ABSTRACT

Polyphonic sound event localization and detection (SELD), which jointly performs sound event detection (SED) and direction-of-arrival (DoA) estimation, detects the type and occurrence time of sound events as well as their corresponding DoA angles simultaneously. We study the SELD task from a multi-task learning perspective. Two open problems are addressed in this paper. Firstly, to detect overlapping sound events of the same type but with different DoAs, we propose to use a trackwise output format and solve the accompanying track permutation problem with permutation-invariant training. Multi-head self-attention is further used to separate tracks. Secondly, a previous finding is that, by using hard parameter-sharing, SELD suffers from a performance loss compared with learning the subtasks separately. This is solved by a soft parameter-sharing scheme. We term the proposed method as Event Independent Network V2 (EINV2), which is an improved version of our previously-proposed method and an end-to-end network for SELD. We show that our proposed EINV2 for joint SED and DoA estimation outperforms previous methods by a large margin, and has comparable performance to state-of-the-art ensemble models.

研究の動機と目的

• 同じ種類の重複音響イベントを、到来方向（DoA）が異なる場合に区別できない既存手法の出力形式の制限を克服する。
• トラック単位の出力形式に内在するトラック順列問題を、フレームレベルおよびチャンクレベルの順列不変訓練（PIT）により解消する。
• SEDとDoA推定の共同学習を、ハードなパラメータ共有からソフトパラメータ共有スキームに置き換えることで向上させ、サブタスク間の相互利益を実現する。
• アンサンブル手法や複雑なアーキテクチャに依存せずに、最先端の性能を達成するエンドツーエンドのイベント独立型SEL Dモデルを構築する。

提案手法

• 各トラックが、イベントの種別、開始時刻、終了時刻、DoAを1つまで予測するトラック単位の出力形式を採用。これにより、同じ種別で異なるDoAを持つ均質的重複イベントの検出が可能になる。
• フレームレベルおよびチャンクレベルの順列不変訓練（PIT）を適用し、正例ラベルを正しいトラックに動的に割り当てることで、トラック順列問題を解決する。
• マルチヘッド自己注意（MHSA）を用いて、トラック間の潜在表現を分離・精錬し、予測精度と耐障害性を向上させる。
• クロススタッチモジュールを模倣したソフトパラメータ共有スキームを導入。SEDとDoA推定の間で共有特徴学習を可能にしつつ、タスク固有の表現能力を維持する。
• トラック単位の出力形式とソフトパラメータ共有を統合したエンドツーエンドモデルを、Event-Independent Network V2（EINV2）として統合。
• 一般化性能と性能の向上を図るため、回転とSpecAugmentなどのデータ拡張技術を活用する。

実験結果

リサーチクエスチョン

• RQ1 同じ種別だが異なるDoAを持つ重複音響イベントを、トラック単位の出力形式で効果的に検出できるか。これは、従来の出力形式の制限を克服できるか。
• RQ2 トレーニング中にトラック単位の出力形式におけるトラック順列問題を効果的に緩和できるか。
• RQ3 SEDとDoA推定の間でソフトパラメータ共有を採用することで、ハードパラメータ共有や別々の学習に比べてより良い共同性能が得られるか。
• RQ4 シンプルなVGGスタイルのアーキテクチャを用いた単一のエンドツーエンドモデルが、複雑なアンサンブルモデルと同等の性能を達成できるか。

主な発見

• フレームレベルPITを用いたトラック単位の出力形式（Track_tPIT）は、0.16°という最小の位置誤差を達成。これはSELDnetの5°高い誤差と非PITベースライン（収束せず）を大きく上回る。
• EINV2におけるソフトパラメータ共有は、ハードパラメータ共有および別個学習よりも優れた性能を示し、適切に設計された共同学習により相互利益が実現可能であることを実証した。
• データ拡張（回転とSpecAugment）を適用したEINV2は、2020 DCASEチャレンジの最良アンサンブルモデルと同等の性能を達成。これは単一モデルであり、基本的なVGGスタイルのアーキテクチャであるにもかかわらず。
• 提案手法は、従来手法を大きく上回り、EINV2の全スコアが別個のSEDおよびDoA学習のスコアを上回ることを確認。共同学習スキームの有効性を裏付けた。
• トラック単位の出力、PIT、MHSA、ソフトパラメータ共有の組み合わせにより、均質的重複を正確に検出可能であり、複雑で重複する状況下でも頑健なDoA推定が可能になった。