[논문 리뷰] Speech Enhancement Using Multi-Stage Self-Attentive Temporal Convolutional Networks

Ju Lin, A. van Wijngaarden외 2명|arXiv (Cornell University)|2021. 02. 24.

Speech and Audio Processing참고 문헌 53인용 수 4

한 줄 요약

이 논문은 자기주의 주의(self-attention)와 확장된 TCN 블록을 사용하여 수신장이 점차 증가하는 다단계 자기주의 주의 시간 컨볼루션 네트워크(SA-TCN)를 제안한다. 각 단계는 이전 단계의 출력을 개선하며, 이는 LibriSpeech 및 VCTK 데이터셋에서 5단계 모델을 사용하여 최신 기술 성능(SOTA)을 달성한다. 이는 PESQ, STOI 및 SI-SDR 점수를 향상시키면서도 낮은 파라미터 수와 높은 계산 효율성을 유지한다.

ABSTRACT

Multi-stage learning is an effective technique to invoke multiple deep-learning modules sequentially. This paper applies multi-stage learning to speech enhancement by using a multi-stage structure, where each stage comprises a self-attention (SA) block followed by stacks of temporal convolutional network (TCN) blocks with doubling dilation factors. Each stage generates a prediction that is refined in a subsequent stage. A fusion block is inserted at the input of later stages to re-inject original information. The resulting multi-stage speech enhancement system, in short, multi-stage SA-TCN, is compared with state-of-the-art deep-learning speech enhancement methods using the LibriSpeech and VCTK data sets. The multi-stage SA-TCN system's hyper-parameters are fine-tuned, and the impact of the SA block, the fusion block and the number of stages are determined. The use of a multi-stage SA-TCN system as a front-end for automatic speech recognition systems is investigated as well. It is shown that the multi-stage SA-TCN systems perform well relative to other state-of-the-art systems in terms of speech enhancement and speech recognition scores.

연구 동기 및 목표

• 자기주의 주의와 시간 컨볼루션 네트워크를 활용한 다단계 학습을 통해 음성 강화 성능을 향상시키기.
• 후속 단계에 융합 블록을 도입하여 깊이 있는 순차 모델에서 음성 정보의 열화 문제를 해결하기.
• 다양한 노이즈 조건에서 높은 성능을 유지하는 파라미터 효율적인 아키텍처 설계하기.
• 자동 음성 인식(ASR) 시스템의 프론트엔드로써 시스템의 효과성을 평가하기.
• 자기주의 주의, 융합 블록, 단계 수가 전체 강화 품질에 미치는 영향을 조사하기.

제안 방법

• 각 단계는 자기주의 주의(SA) 블록과 이어지는 R개의 L개의 시간 컨볼루션 네트워크(TCN) 블록으로 구성되며, 확장 인자(dilation factor)가 두 배로 증가한다.
• TCN 블록은 1D 확장 컨볼루션을 사용하여 파라미터 수를 크게 증가시키지 않고도 시간 수신장을 확장한다.
• 세 번째 단계부터 융합 블록을 도입하여 원본 노이즈가 있는 특징을 재투입하고 음성 콘텐츠를 유지한다.
• 모델은 각 단계에서 소프트 마스크를 예측하며, 이는 암묵적으로 이상 비율 마스크(IRM)를 근사하고, 이를 반복적으로 강화된 신호를 개선하는 데 사용한다.
• 시스템은 입력으로 강도 스펙트로그램을 사용하고, 원본 노이즈의 위상 정보를 활용하여 시간 도메인 웨이브폼을 재구성한다.
• 초기화된 하이퍼파라미터, 즉 단계 수, SA 블록 사용 여부, 융합 블록 통합 방식은 LibriSpeech 및 VCTK 데이터셋을 사용하여 미세 조정된다.

실험 결과

연구 질문

• RQ1 SA-TCN를 사용한 다단계 학습이 단일 단계 모델 대비 음성 강화 성능을 어떻게 향상시키는가?
• RQ2 자기주의 주의와 융합 블록을 통합할 경우 강화 품질과 파라미터 효율성에 어떤 영향을 미치는가?
• RQ3 단계 수가 성능에 미치는 영향는 어떠한가? 특정 단계 수를 초과하면 성능이 포화 상태에 도달하는가?
• RQ4 제안된 다단계 SA-TCN 시스템이 자동 음성 인식(ASR) 시스템의 효과적인 프론트엔드로 기능할 수 있는가?
• RQ5 PESQ, STOI 및 SI-SDR와 같은 목적적 지표에서 최신 기술 방법과 비교해 모델의 성능은 어떠한가?

주요 결과

• 5단계 SA-TCN 시스템은 VCTK 데이터셋에서 PESQ 3.02, STOI 0.9439, SI-SDR 18.48로 최고의 종합 성능을 기록한다.
• 더 많은 단계를 추가할수록 성능 향상이 지속되지만, 네 단계를 초과하면 경미한 성능 향상이 감소하여 암묵적인 상한선에 수렴하는 것으로 나타났다.
• 자기주의 주의와 융합 블록의 통합은 LibriSpeech 및 VCTK 데이터셋 전반에서 PESQ, STOI 및 CSIG 점수에 측정 가능한 향상을 가져왔다.
• 5단계 SA-TCN 모델는 단지 991만 개의 파라미터로 최신 기술 성능(SOTA)을 달성하여 높은 효율성과 낮은 계산 비용을 입증했다.
• 스펙트로그램 시각화 결과는 노이즈 억제가 효과적으로 이루어지고 음성 패턴이 잘 유지됨을 확인하였으며, 음성 품질과 이해 가능성 향상이 뚜렷했다.
• ASR 시스템의 프론트엔드로 사용되었을 때, 다단계 SA-TCN 시스템은 인식 점수를 향상시켜, 후속 작업에서의 강건성과 유용성을 확인했다.