[논문 리뷰] T-GSA: Transformer with Gaussian-weighted self-attention for speech enhancement

Jaeyoung Kim, Mostafa El‐Khamy외 1명|arXiv (Cornell University)|2019. 10. 13.

Speech and Audio Processing참고 문헌 18인용 수 12

한 줄 요약

이 논문은 시간적 거리에 따라 주의 가중치를 감쇠시키는 가우시안 가중 자기주의를 갖춘 트랜스포머 기반 음성 정화 모델인 T-GSA를 제안한다. 이는 음성 노이즈 제거 성능을 향상시킨다. 이 방법은 표준 트랜스포머와 LSTMs 기반 모델을 크게 능가하며, 다양한 데이터셋에서 SDR 및 PESQ 지표에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Transformer neural networks (TNN) demonstrated state-of-art performance on many natural language processing (NLP) tasks, replacing recurrent neural networks (RNNs), such as LSTMs or GRUs. However, TNNs did not perform well in speech enhancement, whose contextual nature is different than NLP tasks, like machine translation. Self-attention is a core building block of the Transformer, which not only enables parallelization of sequence computation, but also provides the constant path length between symbols that is essential to learning long-range dependencies. In this paper, we propose a Transformer with Gaussian-weighted self-attention (T-GSA), whose attention weights are attenuated according to the distance between target and context symbols. The experimental results show that the proposed T-GSA has significantly improved speech-enhancement performance, compared to the Transformer and RNNs.

연구 동기 및 목표

• 표준 트랜스포머가 음성 정화 작업에서 성능이 열 劣한 이유를 해결하기 위해, 자연어 처리 작업과는 달리 장거리 의존성과 물리적 신호 특성이 다름을 고려한다.
• 신호 상관관계 특성을 기반으로 거리에 따라 영향을 줄이는 방식으로 트랜스포머의 주의 메커니즘을 개선한다.
• 멀리 떨어진 프레임의 영향을 줄이면서도 상관관계의 부호를 유지하는 자기주의 메커니즘을 개발하여 자연적인 음성 신호 행동을 모방한다.
• 기존의 순환 및 트랜스포머 기반 모델들과 비교해 뛰어난 음성 정화 성능을 달성한다.

제안 방법

• 목표 프레임과 컨텍스트 프레임 간의 거리에 대한 학습 가능한 가우시안 함수를 사용해 주의 가중치를 스케일링하는 가우시안 가중 자기주의(GSA)를 도입한다.
• 원시 점수 행렬 $ C_l^u $ 와 가우시안 가중치 행렬 $ G_l $ 을 요소별 곱셈으로 적용하며, $ g^l_{i,j} = e^{-|i-j|^2 / heta_l^2} $ 로 정의되며, 여기서 $ heta_l $ 는 학습 가능한 분산 파rameter 이다.
• 표준 트랜스포머 인코더 아키텍처를 사용하며, 멀티헤드 주의, 레이어 정규화, 피드포워드 네트워크를 포함하지만, 거리 기반 가우시안 가중치를 적용해 주의 메커니즘을 수정한다.
• 실수 값 트랜스포머를 음성 정화에 사용하며, 복소수 값 STFT 크기 스펙트럼에 출력 마스크를 적용해 ISTFT를 통해 청소된 음성을 복원한다.
• 주관적 및 청각적 품질을 모두 향상시키기 위해 SDR와 PESQ를 통합한 손실 함수를 최적화한다.
• QUT-NOISE-TIMIT 및 VoiceBank-DEMAND 두 데이터셋에서 엔드 투 엔드로 모델을 훈련시키며, 실수 및 복소수 값 변형 모두 평가한다.

실험 결과

연구 질문

• RQ1 거리 기반 감쇠를 통합한 수정된 자기주의 메커니즘이 트랜스포머의 음성 정화 성능을 향상시킬 수 있는가?
• RQ2 가우시안 가중 주의는 표준 자기주의 및 주의 편향과 비교해 SDR 및 PESQ 성능에서 어떻게 다른가?
• RQ3 제안된 T-GSA 모델은 CNN-LSTM과 같은 최신 기술 수준의 순환 모델을 능가하는가?
• RQ4 주의 가중치에 학습 가능한 가우시안 분산을 사용할 경우 음성 신호 처리에 어떤 영향을 미치는가?
• RQ5 T-GSA 모델은 다양한 노이즈 조건에서 일반화되어 주어진 목적 및 청각 지표에서 일관된 향상을 이룰 수 있는가?

주요 결과

• QUT-NOISE-TIMIT 데이터셋에서 T-GSA는 모든 SNR 범위에서 원본 트랜스포머(O-T)보다 뚜렷하게 뛰어난 성능을 보였으며, SDR는 최대 1.5 dB 향상되고, PESQ는 0.25~0.35 포인트 향상되었다.
• 이전 최신 기술 수준의 CNN-LSTM 모델을 초월하여, QUT-NOISE-TIMIT 데이터셋에서 SDR 19.57 dB, PESQ 3.06을 달성했으며, CNN-LSTM의 19.14 dB 및 3.01에 비해 우월했다.
• 복소수 값 트랜스포머(C-T-GSA)는 실수 값 T-GSA보다 SDR가 0.1~0.2 dB 더 높았지만, PESQ 성능은 열 劣해져 위상 추정에 어려움이 있음을 시사했다.
• VoiceBank-DEMAND 데이터셋에서 T-GSA는 CSIG 4.18, CBAK 3.59, COVL 3.62, PESQ 3.06, SSNR 10.78, SDR 19.57을 기록했으며, SEGAN, WaveNet, TF-GAN을 포함한 모든 비교 생성 모델을 능가했다.
• 주의 편향과 가우시안 가중치 간의 성능 격차는 뚜렷했으며, 이는 음성 신호 상관관계를 가우시안 감쇠를 통해 음성 신호 특성에 맞게 모델링하는 것이 단순한 위치 편향보다 더 효과적임을 시사한다.
• 결과적으로, 학습 가능한 가우시안 가중치를 통해 거리 기반 신호 상관관계를 모델링하는 것이 트랜스포머 기반 아키텍처에서 효과적인 음성 정화를 위해 필수적임을 확인했다.