[論文レビュー] Event-Independent Network for Polyphonic Sound Event Localization and Detection

Yin Cao, Turab Iqbal+4 more|arXiv (Cornell University)|Sep 30, 2020

Music and Audio Processing参考文献 22被引用数 24

ひとこと要約

本論文は、1次フォーマット・アンビソンクス（FOA）入力を用いた、エンドツーエンドでイベントに依存しない音響イベント局所化・検出（SELD）のためのニューラルネットワークを提案する。トラック単位の予測とフレームレベルの順列不変訓練（tPIT）を採用し、新たなイベント活動検出（EAD）ヘッドを用いて音響イベント検出（SED）と到来方向（DoA）推定を同時に最適化することで、DCASE 2020 タスク3データセットにおいて、従来の2段階ベースラインを著しく上回る性能を達成した。

ABSTRACT

Polyphonic sound event localization and detection is not only detecting what sound events are happening but localizing corresponding sound sources. This series of tasks was first introduced in DCASE 2019 Task 3. In 2020, the sound event localization and detection task introduces additional challenges in moving sound sources and overlapping-event cases, which include two events of the same type with two different direction-of-arrival (DoA) angles. In this paper, a novel event-independent network for polyphonic sound event localization and detection is proposed. Unlike the two-stage method we proposed in DCASE 2019 Task 3, this new network is fully end-to-end. Inputs to the network are first-order Ambisonics (FOA) time-domain signals, which are then fed into a 1-D convolutional layer to extract acoustic features. The network is then split into two parallel branches. The first branch is for sound event detection (SED), and the second branch is for DoA estimation. There are three types of predictions from the network, SED predictions, DoA predictions, and event activity detection (EAD) predictions that are used to combine the SED and DoA features for on-set and off-set estimation. All of these predictions have the format of two tracks indicating that there are at most two overlapping events. Within each track, there could be at most one event happening. This architecture introduces a problem of track permutation. To address this problem, a frame-level permutation invariant training method is used. Experimental results show that the proposed method can detect polyphonic sound events and their corresponding DoAs. Its performance on the Task 3 dataset is greatly increased as compared with that of the baseline method.

研究の動機と目的

• 同じ種類の重複音響イベントを異なるDoAで検出できる2段階手法の限界を是正すること。
• 音響イベント、DoA、イベント活動を同時に予測するエンドツーエンドフレームワークを構築し、時間的・空間的局所化精度を向上させること。
• 複数トラック予測におけるトラック順列の不確実性を解消するため、フレームレベルの順列不変訓練（tPIT）を導入すること。
• SEDとDoAの特徴を統合するイベント活動検出（EAD）ヘッドを用いて、発生時刻・終了時刻推定の精度を向上させること。
• 2つ以上の重複イベントを処理できるスケーラブルなアーキテクチャを構築すること。

提案手法

• ネットワークは、1次フォーマット・アンビソンクス（FOA）の時間領域信号を1次元畳み込み層で処理し、音響特徴を抽出する。
• 特徴ストリームは、音響イベント検出（SED）と到来方向（DoA）推定の2本の並列ブランチに分岐する。
• モデルは1フレームごとに3つの予測を出力する：SED、DoA、およびイベント活動検出（EAD）。各予測は最大2つのトラックを示し、1トラックあたり最大1件のイベントを想定する。
• バックプロパゲーション中にすべての可能なトラック順列のうち損失が最小となる組み合わせを選択することで、トラック順列の曖昧性を解消するフレームレベルの順列不変訓練（tPIT）戦略を適用する。
• イベント活動検出（EAD）ヘッドは、SEDおよびDoAブランチからの特徴埋め込みを統合し、イベントの存在を予測することで、発生時刻・終了時刻推定の精度を向上させる。
• EAD予測をバイナリ化するために閾値0.5を適用し、SEDおよびEAD出力を組み合わせたマスクを用いて有効なトラックをフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドでイベントに依存しないネットワークは、同じクラスの重複イベント（異なるDoAを有する）を効果的に検出・局所化できるか？
• RQ2 フレームレベルの順列不変訓練（tPIT）は、トラック割り当てに曖昧性がある複数トラックSELDにおいて、性能をどのように向上させるか？
• RQ3 イベント活動検出（EAD）ヘッドを導入することで、多音源SELDにおける発生時刻・終了時刻推定の精度はどの程度向上するか？
• RQ4 EADによるSEDとDoAの統合的モデリングは、SEDとDoAの一方的依存関係と比較して、どのように優れているか？
• RQ5 提案されたアーキテクチャは、2つ以上の重複イベントを処理できるか？

主な発見

• tPITとEADを備えた提案されたイベントに依存しないエンドツーエンドシステムは、DCASE 2020 タスク3データセットにおいて、すべてのベースライン手法（DCASE 2019の2段階手法含む）を上回る性能を発揮した。
• アブレーションスタディの結果、EADおよびtPITを除去すると性能が最も悪化し、両モジュールが最適な結果を得るために不可欠であることが示された。
• SEDおよびEAD予測をマスクとして用いる「Track-Wise 3」バージョンは、SEDのみを用いる「Track-Wise 2」よりも優れた性能を示し、EADが時間的・トラックバインディングの一貫性向上に有効であることを実証した。
• 局所化リCALL（LR_CD）と局所化誤差（LE_CD）のトレードオフが存在するが、提案された「Event-Ind」手法は、すべての指標において最良のバランスを達成した。
• ベースラインと比較して、モデル性能が顕著に向上し、Fスコアが最高かつ誤差率が最低であった。これは、統合最適化とtPIT戦略の成功を裏付けている。