[論文レビュー] ACCDOA: Activity-Coupled Cartesian Direction of Arrival Representation for Sound Event Localization and Detection

Kazuki Shimada, Yuichiro Koyama+3 more|arXiv (Cornell University)|Oct 29, 2020

Music and Audio Processing参考文献 29被引用数 12

ひとこと要約

本稿では、音声イベント活動とDOA推定を統合した1つのベクトル出力としての新規なアクティビティ結合型デカルト方向音源（ACCDOA）表現を提案する。この表現により、1つのネットワークと損失関数を用いたエンドツーエンドの音声イベント局所化・検出（SELD）が可能となる。DCASE 2020 Task 3データセット上で評価した結果、二重ブランチ型および先行の最先端手法と比較して、モデルの複雑さが低く、局所化精度と位置依存Fスコアが向上した最先端の性能を達成した。

ABSTRACT

Neural-network (NN)-based methods show high performance in sound event localization and detection (SELD). Conventional NN-based methods use two branches for a sound event detection (SED) target and a direction-of-arrival (DOA) target. The two-branch representation with a single network has to decide how to balance the two objectives during optimization. Using two networks dedicated to each task increases system complexity and network size. To address these problems, we propose an activity-coupled Cartesian DOA (ACCDOA) representation, which assigns a sound event activity to the length of a corresponding Cartesian DOA vector. The ACCDOA representation enables us to solve a SELD task with a single target and has two advantages: avoiding the necessity of balancing the objectives and model size increase. In experimental evaluations with the DCASE 2020 Task 3 dataset, the ACCDOA representation outperformed the two-branch representation in SELD metrics with a smaller network size. The ACCDOA-based SELD system also performed better than state-of-the-art SELD systems in terms of localization and location-dependent detection.

研究の動機と目的

• ニューラルネットワークベースの音声イベント局所化・検出（SELD）における、音声イベント検出（SED）と方向音源（DOA）推定の間のトレードオフを解消する課題に対処すること。
• エッジデバイスへのデプロイを念頭に、SELDシステムにおけるモデルの複雑さとネットワークサイズを低減すること。
• SEDとDOA予測を1つのアクティビティ結合型表現に統合することで、局所化精度と位置依存検出性能を向上させること。
• 複数目的最適化における損失重み調整の必要性を排除し、共同SELDタスクを単一の回帰タスクに変換すること。

提案手法

• DOAベクトルの大きさが音声イベントのアクティビティレベルを符号化するアクティビティ結合型デカルトDOA（ACCDOA）表現を提案する。
• 各ターゲット音声イベントのフレーム単位のACCDOAベクトルを予測する1つのニューラルネットワークを訓練し、予測値と真値ベクトル間のユークリッド距離を最小化する1つの損失関数を用いる。
• イベントがアクティブでない場合、損失はアクティビティ成分のみに計算され、非アクティブフレームにおけるDOAは無視される。
• 効率性を高めるために、ボトルネック部にゲート付き再帰ユニット（GRUs）を用いた変更版のRD3Netアーキテクチャを採用し、バッチ正則化をネットワークデコンボリューションに置き換え、アップサンプリングパスから全結合ブロックを削除した。
• 入力の回転処理を適用し、ACCDOAベクトルを推論し、元の方向に戻してから、回転パターンごとの結果を平均化することで、ロバストネスを向上させる後処理を実施する。
• 学習時に、1,024フレームの入力フレーム長を拡張し、STFT特徴量と重複するセグメントを用いたオンザフライデータオーグメンテーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 音声イベント活動とDOA推定を結合した統合的表現が、SELD性能を向上させるとともにモデルの複雑さを低減できるか？
• RQ2 複数目的学習における損失重み調整の必要性を排除することで、より安定的かつ高性能なSELDシステムが実現できるか？
• RQ3 単一ヘッド・単一ネットワークアプローチが、二重ブランチ型や二段階型手法に比べて、局所化精度と検出Fスコアで優れているか？
• RQ4 ACCDOA表現は、最先端のSELDシステムと比較して、局所化誤差と位置依存Fスコアの観点で優れているか？

主な発見

• ACCDOA表現は、DCASE 2020 Task 3の開発セットで7.9°の局所化誤差（LE）を達成し、以前の最先端システム（Wang et al.）の9.4°を上回った。
• ACCDOAベースのシステムは、20°でのFスコア（F20°）を76.8%に達成し、以前の最高スコア（Wang et al.）の76.4%を上回り、FOAベースライン（37.4%）と比べて顕著に優れた性能を示した。
• わずか156万パラメータで80.5%の位置リコール（LR）を達成し、高い効率性と優れた性能を示した。
• 同じネットワークアーキテクチャ（CRNN）を用いた二重ブランチベースラインと比較して、ACCDOA表現は位置依存Fスコアを3.4ポイント向上させ、空間的に敏感な状況下での検出精度が向上した。
• 入力の回転処理とベクトル平均化による後処理を施すことで、非処理バージョンと比較して局所化性能が向上し、LEが2.3°低下した。
• アンサンブルなしでも、ACCDOA手法は局所化誤差と位置依存Fスコアの両面で、最先端のシステムを上回った。