[논문 리뷰] Attention is All You Need in Speech Separation

Cem Subakan, Mirco Ravanelli외 3명|arXiv (Cornell University)|2020. 10. 25.

Speech and Audio Processing참고 문헌 32인용 수 10

한 줄 요약

이 논문은 단일 음성 분리에 적합한 RNN을 포함하지 않는 Transformer 기반 아키텍처인 SepFormer을 제안한다. 이는 순환 네트워크를 다중 척도 자기주의 메커니즘으로 대체한다. 이중 경로 처리와 스트라이드 기반 다운샘플링을 활용함으로써, 기존 RNN 기반 모델 대비 훈련 시간과 메모리 사용을 크게 줄이며 동시에 최고 성능을 달성한다. WSJ0-2mix에서 22.3 dB의 SI-SNRi, WSJ0-3mix에서 19.5 dB의 SI-SNRi 성능을 기록한다.

ABSTRACT

Recurrent Neural Networks (RNNs) have long been the dominant architecture in sequence-to-sequence learning. RNNs, however, are inherently sequential models that do not allow parallelization of their computations. Transformers are emerging as a natural alternative to standard RNNs, replacing recurrent computations with a multi-head attention mechanism. In this paper, we propose the SepFormer, a novel RNN-free Transformer-based neural network for speech separation. The SepFormer learns short and long-term dependencies with a multi-scale approach that employs transformers. The proposed model achieves state-of-the-art (SOTA) performance on the standard WSJ0-2/3mix datasets. It reaches an SI-SNRi of 22.3 dB on WSJ0-2mix and an SI-SNRi of 19.5 dB on WSJ0-3mix. The SepFormer inherits the parallelization advantages of Transformers and achieves a competitive performance even when downsampling the encoded representation by a factor of 8. It is thus significantly faster and it is less memory-demanding than the latest speech separation systems with comparable performance.

연구 동기 및 목표

• 순환 신경망(RNNs)을 제거하여 계산을 완전히 병렬화할 수 있는 음성 분리 모델을 개발하는 것.
• RNN에 의존하지 않고도 표준 WSJ0-2mix 및 WSJ0-3mix 데이터셋에서 최고 성능을 달성하는 것.
• 고품질의 분리 성능를 유지하면서도 메모리 사용량과 추론 시간을 줄여 계산 효율성을 향상시키는 것.
• 다중 척도 자기주의가 음성 신호의 짧은 및 긴 기간 의존성을 모델링하는 데 얼마나 효과적인지 탐구하는 것.
• 순수한 Transformer 기반 아키텍처가 단일 음성 소스 분리에서 RNN 기반 모델을 능가할 수 있는지 입증하는 것.

제안 방법

• 입력 혼합 신호에서 시간-주파수 표현을 추출하기 위해 완전히 컨volutional인 인코더를 사용하는 학습된 도메인 마스킹 프레임워크를 적용한다.
• 마스킹 네트워크는 이중 경로 Transformer 아키텍처로 구성되며, 국소적 및 전반적 의존성을 각각 내부(Intra-)와 상호(Inter-) Transformer 블록을 통해 모델링한다.
• Intra-Transformer는 병렬로 국소 블록을 처리하고, Inter-Transformer는 블록 간의 상호작용을 통해 장거리 맥락을 모델링하며, 둘 다 다중 헤드 자기주의를 사용한다.
• 인코더에서 스트라이드를 8로 설정하여 시퀀스 길이를 줄이고, 성능 손실 없이도 빠른 추론을 가능하게 한다.
• 일반화 성능 향상을 위해 동적 혼합(dynamic mixing)을 적용하고, 학습된 마스크를 사용해 겹침 추가(overlap-add) 방식으로 시간 도메인 소스를 재구성한다.
• 모델은 SI-SNR 손실을 사용해 엔드 투 엔드로 훈련되며, 자동 혼합 정밀도와 배치 크기 1을 사용해 공정한 비교를 수행한다.

실험 결과

연구 질문

• RQ1 순수한 Transformer 기반 아키텍처가 RNN을 사용하지 않고도 단일 음성 분리에서 최고 성능을 달성할 수 있는가?
• RQ2 이중 경로 프레임워크 내에서의 다중 척도 자기주의는 음성 분리에서 장기 의존성을 모델링하는 데 RNN보다 어떻게 비교되는가?
• RQ3 인코딩된 표현을 8배로 다운샘플링하는 것이 성능와 효율성에 얼마나 큰 영향을 미치는가?
• RQ4 Transformer의 병렬 처리 능력이 RNN 기반 모델 대비 훈련 및 추론 시간을 크게 줄일 수 있는가?
• RQ5 동적 혼합이 자기주의 기반 메커니즘을 사용하는 음성 분리 맥락에서 일반화 성능 향상에 기여하는가?

주요 결과

• SepFormer는 WSJ0-2mix 데이터셋에서 22.3 dB의 최고 수준 SI-SNRi 성능을 기록하며 이전의 RNN 기반 모델을 능가한다.
• WSJ0-3mix 데이터셋에서는 19.5 dB의 SI-SNRi와 19.7 dB의 SDRi를 달성하여 새로운 최고 기록을 수립한다.
• DPRNN과 DPTNet보다 훨씬 빠른 훈련 속도를 보이며, 24시간 이내에 17 dB의 SI-SNRi에 도달한다. 이는 DPRNN의 두 날이 소요되는 것과 대비된다.
• DPRNN, DPTNet, Wavesplit보다 추론 속도가 빠르고 메모리 효율성이 뛰어나며, 26M 파라미터를 가진 상태에서도 성능을 유지한다.
• 인코더에서 스트라이드를 8로 설정함으로써 시퀀스 길이를 줄이고 계산 속도를 높이면서도 경쟁 가능한 성능 유지를 유지한다.
• 동적 혼합은 성능 향상에 기여하며, RNN 기반 모델과 달리 증가된 다운샘플링에 의해 성능 저하가 거의 발생하지 않는다.