[論文レビュー] Sound Event Localization and Detection Using Activity-Coupled Cartesian DOA Vector and RD3net

Kazuki Shimada, Naoya Takahashi+2 more|arXiv (Cornell University)|Jun 22, 2020

Music and Audio Processing参考文献 14被引用数 11

ひとこと要約

本論文は、アクティビティ結合型デカルトDOAベクトル（ACCDOA）表現と、新たな再帰的密度型ネットワーク（RD3Net）を用いた、音声イベントロケーションおよび検出（SELD）の統合的単一段階フレームワークを提案する。この手法はDCASE2020 Task 3で最先端の性能を達成し、特にロケーションリ call とFスコアにおいて顕著な優位性を示した。さらに、モデルアンサンブルおよびEMDA、FOA回転、マルチチャネルSpecAugmentといったデータ拡張技術を用いることでさらなる向上が得られた。

ABSTRACT

Our systems submitted to the DCASE2020 task~3: Sound Event Localization and Detection (SELD) are described in this report. We consider two systems: a single-stage system that solve sound event localization~(SEL) and sound event detection~(SED) simultaneously, and a two-stage system that first handles the SED and SEL tasks individually and later combines those results. As the single-stage system, we propose a unified training framework that uses an activity-coupled Cartesian DOA vector~(ACCDOA) representation as a single target for both the SED and SEL tasks. To efficiently estimate sound event locations and activities, we further propose RD3Net, which incorporates recurrent and convolution layers with dense skip connections and dilation. To generalize the models, we apply three data augmentation techniques: equalized mixture data augmentation~(EMDA), rotation of first-order Ambisonic~(FOA) singals, and multichannel extension of SpecAugment. Our systems demonstrate a significant improvement over the baseline system.

研究の動機と目的

• 複雑でマルチソース音声環境における音声イベント検出とロケーションの統合的課題に対処すること。
• マルチチャネル音声およびDOA推定に特化した新たなデータ拡張技術を用いて、モデルの汎化性能と性能を向上させること。
• ACCDOA表現を用いて音声イベントのアクティビティと到来方向を同時に最適化する統合的単一段階フレームワークを構築すること。
• 従来のCRNNなどと比較して、提案されたRD3Netアーキテクチャの優位性をSELDタスクで示すこと。
• モデルアンサンブルおよび複数構成の重み付き平均化を用いて、最先端の性能を達成すること。

提案手法

• ACCDOA表現は、3次元デカルトDOAベクトルの大きさとして音声イベントのアクティビティを符号化し、方向がソースの位置を示す。これにより、SADとSELを1つの出力で同時に回帰可能となる。
• RD3Netは、拡張畳み込み、ボトルネック部における再帰ユニット（GRU）、および密度スルークイック接続を統合し、バッチ正規化の代わりにネットワークデコンボリューションを採用することで、特徴の学習を向上させた。
• 3つのデータ拡張技術を適用した：等価混合データ拡張（EMDA）により現実的なソース混合を実現、1次アンビソンクス（FOA）信号の回転によりDOAの多様性を向上、スペクトルおよびチャネルマスキングのためのマルチチャネル版SpecAugmentの拡張。
• 特徴はSTFT係数から抽出され、マルチチャネルの振幅スペクトログラムとチャネル間位相差（IPD）を含む。相対IPDは最初のマイクロホンを基準として計算された。
• 単一段階システムではACCDOAベクトルの回帰に平均二乗誤差（MSE）損失を、二段階システムではSADにはバイナリクロスエントロピー、DOAにはマスク付きMSEを用い、SADブランチからDOAブランチへのパラメータ転送を実施した。
• 後処理には重複セグメント推論、推論時におけるデータ拡張のためのベクトル回転、および学習済みクラス・モデル固有の重みを用いた予測の重み付き平均化によるモデルアンサンブルが含まれる。

実験結果

リサーチクエスチョン

• RQ1 ACCDOA表現を用いた統合的単一段階フレームワークは、分離型の二段階アプローチを上回る性能を示せるか？
• RQ2 提案されたデータ拡張技術（EMDA、FOA回転、マルチチャネルSpecAugment）は、モデルの汎化性能と耐障害性の向上にどの程度効果的か？
• RQ3 拡張畳み込み、GRU、密度スルークイック接続を備えたRD3Netアーキテクチャは、標準的なCRNNと比較してSELDタスクにおける性能をどの程度向上させるか？
• RQ4 複数構成の重み付き平均化によるモデルアンサンブルは、F20°やLRCDといった困難な指標においてさらなる性能向上をもたらすか？
• RQ5 多音源（ポリフォニー）の影響は、提案システムの性能にどのように現れるか。また、重複する音声イベント下でもモデルは正確性を維持できるか？

主な発見

• ACCDOAシステムは、ポリフォニーなしの開発セットでF20°スコア81.3%、ポリフォニーありで74.3%を達成し、複雑な状況下でも優れた性能を示した。
• ACCDOAシステムは二段階システムを2.3ポイント上回るロケーションリ call（LRCD）を達成し、より高い統合的検出・ロケーション精度を示した。
• RD3Netは、すべての指標でCRNNベースラインを顕著に上回り、F20°で3.8ポイント、LRCDで4.1ポイントの改善を達成した。
• モデルアンサンブルにより、最良の単一モデルと比較してF20°スコアが3.2ポイント向上し、多様な構成間での重み付き平均化の有効性が示された。
• 実録音において動的音源を的確に追跡できたことが図3の可視化から明らかであり、堅牢な統合的検出、ロケーション、時間的追跡性能を有していた。
• ポリフォニー下では性能低下が観察され、ロケーション誤差（LECD）が2.3°増加し、LRCDが4.1ポイント低下した。これは、密集したイベント状況下での改善の余地があることを示唆している。