[論文レビュー] Assessment of Self-Attention on Learned Features For Sound Event Localization and Detection

Parthasaarathy Sudarsanam, Archontis Politis+1 more|arXiv (Cornell University)|Jul 20, 2021

Music and Audio Processing被引用数 5

ひとこと要約

本稿は、音声イベントの局所化と検出（SELD）における再帰的ニューラルネットワーク（RNN）の置き換えとして、マルチヘッド自己注意（MHSA）の有効性を評価する。SELDnetに類似したCRNNにおけるGRU層をMHSAブロックに置き換え、ハイパーパramータを最適化することで、ベースライン比でFスコアが35.2%向上し、局所化誤差が10.7%低減された。並列化のおかげで推論速度は2.5倍速くなった。

ABSTRACT

Joint sound event localization and detection (SELD) is an emerging audio signal processing task adding spatial dimensions to acoustic scene analysis and sound event detection. A popular approach to modeling SELD jointly is using convolutional recurrent neural network (CRNN) models, where CNNs learn high-level features from multi-channel audio input and the RNNs learn temporal relationships from these high-level features. However, RNNs have some drawbacks, such as a limited capability to model long temporal dependencies and slow training and inference times due to their sequential processing nature. Recently, a few SELD studies used multi-head self-attention (MHSA), among other innovations in their models. MHSA and the related transformer networks have shown state-of-the-art performance in various domains. While they can model long temporal dependencies, they can also be parallelized efficiently. In this paper, we study in detail the effect of MHSA on the SELD task. Specifically, we examined the effects of replacing the RNN blocks with self-attention layers. We studied the influence of stacking multiple self-attention blocks, using multiple attention heads in each self-attention block, and the effect of position embeddings and layer normalization. Evaluation on the DCASE 2021 SELD (task 3) development data set shows a significant improvement in all employed metrics compared to the baseline CRNN accompanying the task.

研究の動機と目的

• マルチヘッド自己注意（MHSA）が音声イベントの局所化と検出（SELD）性能に与える影響を分離して評価すること。
• MHSAの最適なハイパーパramータ、すなわち注意ヘッド数、ブロック数、位置埋め込みおよび正規化の使用を特定すること。
• 精度、推論速度、学習効率の観点から、MHSAベースのモデルと標準的なCRNNベースラインを比較すること。
• MHSAが長距離の時系列依存性をモデル化できるか、並列推論が可能であることを踏まえて、RNNを上回る性能を示せるかを評価すること。

提案手法

• 時系列依存性をモデル化するために、SELDnetに類似したCRNNのゲート付き再帰ユニット（GRU）層をマルチヘッド自己注意（MHSA）ブロックに置き換えた。
• 入力としてログメルスペクトログ램と強度ベクトルを用い、チャネル次元に沿って連結してマルチチャネル音声処理を実装した。
• 最初のMHSAブロックの入力に、固定サイズの学習済み位置埋め込みを適用して、系列順序情報を保持した。
• 訓練の安定性と性能向上のため、連続するMHSAブロックの間に残差接続と層正規化を統合した。
• 100エポックの訓練にAdam最適化手法を用い、固定学習率0.001、回帰ベースのDOA予測のための平均二乗誤差損失関数を採用した。
• DCASE 2021 SELD開発セットを用いて、Fスコア、検出誤差率、局所化誤差、局所化リCALLなどの指標でモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 RNNをマルチヘッド自己注意（MHSA）に置き換えると、検出および局所化の指標においてSELD性能にどのような影響を与えるか？
• RQ2 SELDタスクにおけるMHSAの最適な注意ヘッド数と自己注意ブロック数は何か？
• RQ3 層正規化と残差接続は、MHSAベースのSELDモデルの訓練安定性と性能にどのような影響を与えるか？
• RQ4 相対的な位置に関するインダクティブバイアスが欠如する状況下で、位置埋め込みの影響は何か？
• RQ5 注意の並列化の利点を考慮すると、MHSAベースのモデルの推論速度はRNNベースのベースラインと比べてどうなるか？

主な発見

• GRU層を2つのMHSAブロックに置き換え、各ブロックに8つの注意ヘッドを設定したことで、CRNNベースライン比でFスコアが35.2%向上した。
• 最良のMHSA設定では、検出誤差率（ER20）が11.6%低下し、イベント検出の精度が向上した。
• 最適なMHSAモデルでは、局所化リCALL（LRCD）が25.2%向上し、局所化誤差（LECD）が10.7%低下した。これは空間的精度の向上を示している。
• 最初のMHSAブロックに位置埋め込みを追加することで性能がさらに向上し、系列順序を維持する上でその重要性が確認された。
• パラメータ数がほぼ2倍であったにもかかわらず、並列計算のおかげでMHSAモデルの推論速度はRNNベースライン比で2.5倍速くなった。
• 残差接続と層正規化の組み合わせは、複数のMHSAブロックを用いた安定した訓練と高い性能を実現するために不可欠であった。