[논문 리뷰] Assessment of Self-Attention on Learned Features For Sound Event Localization and Detection

Parthasaarathy Sudarsanam, Archontis Politis외 1명|arXiv (Cornell University)|2021. 07. 20.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 음향 이벤트 현지화 및 탐지(SELD)에서 순환 신경망(RNNs)의 대체로 다중 헤드 자기주의(MHSA)를 평가한다. SELDnet 유사 CRNN의 GRU 레이어를 MHSA 블록으로 대체하고 하이퍼파라미터를 최적화함으로써, 기준 모델 대비 F-스코어는 35.2% 향상되고 현지화 오차는 10.7% 감소하였으며, 병렬 처리 덕분에 추론 속도는 2.5배 빨라졌다.

ABSTRACT

Joint sound event localization and detection (SELD) is an emerging audio signal processing task adding spatial dimensions to acoustic scene analysis and sound event detection. A popular approach to modeling SELD jointly is using convolutional recurrent neural network (CRNN) models, where CNNs learn high-level features from multi-channel audio input and the RNNs learn temporal relationships from these high-level features. However, RNNs have some drawbacks, such as a limited capability to model long temporal dependencies and slow training and inference times due to their sequential processing nature. Recently, a few SELD studies used multi-head self-attention (MHSA), among other innovations in their models. MHSA and the related transformer networks have shown state-of-the-art performance in various domains. While they can model long temporal dependencies, they can also be parallelized efficiently. In this paper, we study in detail the effect of MHSA on the SELD task. Specifically, we examined the effects of replacing the RNN blocks with self-attention layers. We studied the influence of stacking multiple self-attention blocks, using multiple attention heads in each self-attention block, and the effect of position embeddings and layer normalization. Evaluation on the DCASE 2021 SELD (task 3) development data set shows a significant improvement in all employed metrics compared to the baseline CRNN accompanying the task.

연구 동기 및 목표

• 다중 헤드 자기주의(MHSA)가 음향 이벤트 현지화 및 탐지(SELD) 성능에 미치는 영향을 고립하고 평가하는 것.
• MHSA의 최적 하이퍼파라미터를 도출하는 것 — 주로 주의 헤드 수, 블록 수, 위치 임베딩 및 정규화의 사용 여부를 포함.
• 정확도, 추론 속도, 학습 효율성 측면에서 표준 CRNN 기준 모델과 MHSA 기반 모델을 비교하는 것.
• MHSA가 장거리 시간적 의존성을 모델링하는 데 RNN을 능가할 수 있는지, 동시에 병렬 추론을 가능하게 하는지 평가하는 것.

제안 방법

• 시간적 의존성을 모델링하기 위해 SELDnet 유사 CRNN의 게이트드 순환 유닛(GRU) 레이어를 다중 헤드 자기주의(MHSA) 블록으로 대체하였다.
• 입력으로 로그 멜 스펙트로그램과 강도 벡터를 사용하였으며, 채널 차원에 따라 연결하여 다중 채널 오디오 처리를 수행하였다.
• 시퀀스 순서 정보를 유지하기 위해 첫 번째 MHSA 블록의 입력에 학습 가능한 고정 크기의 위치 임베딩을 적용하였다.
• 훈련 안정성 향상과 성능 향상을 위해 연속된 MHSA 블록 간에 잔차 연결과 레이어 정규화를 통합하였다.
• 100 에포크 동안 훈련하였으며, Adam 옵timizer를 사용하고 고정 학습률 0.001, 회귀 기반 DOA 예측을 위한 평균 제곱 오차 손실을 적용하였다.
• DCASE 2021 SELD 개발 세트에서 F-스코어, 탐지 오차율, 현지화 오차, 현지화 재현율 등의 지표를 사용해 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 RNN을 다중 헤드 자기주의(MHSA)로 대체할 경우, 탐지 및 현지화 지표 측면에서 SELD 성능에 어떤 영향을 미치는가?
• RQ2 SELD 작업에서 MHSA에 최적의 주의 헤드 수와 자기주의 블록 수는 무엇인가?
• RQ3 레이어 정규화와 잔차 연결은 MHSA 기반 SELD 모델의 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 상대적 위치 인덕티브 바이어스가 없는 상황에서 위치 임베딩의 영향은 무엇인가?
• RQ5 자기주의의 병렬 처리 이점 덕분에, MHSA 기반 모델의 추론 속도는 RNN 기반 기준 모델에 비해 어떻게 비교되는가?

주요 결과

• GRU 레이어를 두 개의 MHSA 블록(각 블록에 8개의 주의 헤드 포함)으로 대체함으로써, 기준 CRNN 대비 F-스코어가 35.2% 향상되었다.
• 최적의 MHSA 구성에서 탐지 오차율(ER20)은 11.6% 감소하여 더 높은 이벤트 탐지 정확도를 보였다.
• 최적의 MHSA 모델에서 현지화 재현율(LRCD)은 25.2% 향상되고 현지화 오차(LECD)는 10.7% 감소하여 공간 정확도 향상을 입증하였다.
• 첫 번째 MHSA 블록에 위치 임베딩을 추가함으로써 성능 향상이 더욱 뚜렷해졌으며, 이는 순서 정보 유지의 중요성을 확인시켰다.
• 거의 두 배의 매개변수를 가졌음에도 불구하고, 병렬 계산 덕분에 MHSA 모델은 RNN 기반 기준 모델 대비 추론 속도가 2.5배 빨라졌다.
• 잔차 연결과 레이어 정규화의 조합이 다수의 MHSA 블록을 사용할 경우 안정적인 훈련과 높은 성능을 달성하는 데 필수적이었다.