[논문 리뷰] Dual-branch Attention-In-Attention Transformer for single-channel speech enhancement

Guochen Yu, Andong Li외 4명|arXiv (Cornell University)|2021. 10. 13.

Speech and Audio Processing인용 수 12

한 줄 요약

이 논문은 단일 채널 음성 강화를 위한 이중 분지 트랜스포머 아키텍처인 DB-AIAT를 제안한다. 이는 마스크링 분지에서 별도로 크기 스펙트럼을 추정하고, 보완적인 보정 분지에서 복소 스펙트럼 세부 정보를 정밀하게 보정한다. 장거리 시간-주파수 모델링을 위해 주의력-주의력 트랜스포머(AIAT)를 통합함으로써, Voice Bank + DEMAND 데이터셋에서 오직 281만 파라미터로도 최신 기술 수준의 성능(3.31 PESQ, 95.6% STOI, 10.79 dB SSNR)을 달성한다.

ABSTRACT

Curriculum learning begins to thrive in the speech enhancement area, which decouples the original spectrum estimation task into multiple easier sub-tasks to achieve better performance. Motivated by that, we propose a dual-branch attention-in-attention transformer dubbed DB-AIAT to handle both coarse- and fine-grained regions of the spectrum in parallel. From a complementary perspective, a magnitude masking branch is proposed to coarsely estimate the overall magnitude spectrum, and simultaneously a complex refining branch is elaborately designed to compensate for the missing spectral details and implicitly derive phase information. Within each branch, we propose a novel attention-in-attention transformer-based module to replace the conventional RNNs and temporal convolutional networks for temporal sequence modeling. Specifically, the proposed attention-in-attention transformer consists of adaptive temporal-frequency attention transformer blocks and an adaptive hierarchical attention module, aiming to capture long-term temporal-frequency dependencies and further aggregate global hierarchical contextual information. Experimental results on Voice Bank + DEMAND demonstrate that DB-AIAT yields state-of-the-art performance (e.g., 3.31 PESQ, 95.6% STOI and 10.79dB SSNR) over previous advanced systems with a relatively small model size (2.81M).

연구 동기 및 목표

• 매개변수 별도로 크기 스펙트럼 복구와 복소 스펙트럼 복구를 분리하여 성능을 향상시키기 위해 이중 분지 아키텍처를 도입한다.
• 장거리 시간-주파수 의존성 모델링에서 RNN 및 TCN의 한계를 해결하기 위해 노력한다.
• 크기 스펙트럼 추정과 복소 스펙트럼 세부 정보 보정을 동시에 수행함으로써 청취자 품질과 이해도를 향상시킨다.
• 경량화된 주의 기반 아키텍처를 통해 모델 복잡도를 감소시키면서도 성능을 유지하거나 향상시킨다.

제안 방법

• 이 방법은 이중 분지 아키텍처를 사용한다: 거칠게 크기 스펙트럼을 추정하기 위한 크기 마스크링 분지(MMB)와 세밀한 스펙트럼 세부 정보 복구를 위한 복소 보정 분지(CRB)이다.
• 각 분지는 시간 축과 주파수 축을 모두 고려한 장거리 의존성을 모델링하기 위해 주의력-주의력 트랜스포머(AIAT) 모듈을 사용한다.
• AIAT 모듈은 적응형 시간-주파수 주의 블록과 전역적 맥락 정보를 집계하기 위한 적응형 계층적 주의(AHA) 모듈로 구성된다.
• 분지 간 스킵 연결을 통해 특징 융합이 가능하며, MMB에서 제공하는 거친 추정치와 CRB에서 제공하는 정밀한 세부 정보를 조합하여 청소된 복소 스펙트럼을 재구성한다.
• 음성 품질과 이해도를 최적화하기 위해 L1 손실 함수와 청취자 기반 손실 함수의 조합을 사용하여 엔드 투 엔드로 학습한다.
• 모델은 잔차 연결을 포함한 조밀한 인코더-디코더 구조를 활용하여 학습 안정성과 특징 표현 능력을 향상시킨다.

Fig. 1 : The diagram of the proposed DB-AIAT. (a) The overall diagram of the proposed system. (b) The detailed architecture of mask decoder.

실험 결과

연구 질문

• RQ1 크기 추정과 복소 스펙트럼 보정을 분리한 이중 분지 아키텍처가 음성 강화 성능 향상에 기여하는가?
• RQ2 RNN 및 TCN과 비교해 복소 스펙트럼 보정 분지에서 주의력-주의력 트랜스포머(AIAT)가 장거리 시간-주파수 의존성 모델링에 얼마나 효과적인가?
• RQ3 크기 마스크링과 복소 보정 분지의 보완적 설계가 단일 분지 아키텍처보다 성능 향상에 기여하는가?
• RQ4 적응형 계층적 주의 모듈이 트랜스포머 아키텍처 내에서 전역 맥락 집약에 얼마나 기여하는가?
• RQ5 경량 트랜스포머 기반 모델이 기존 최신 기술 수준의 시스템보다 파라미터 수를 줄이며 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DB-AIAT는 Voice Bank + DEMAND 데이터셋에서 3.31 PESQ, 95.6% STOI, 10.79 dB SSNR를 기록하여 이전의 모든 최신 기술 수준 방법을 능가한다.
• 이중 분지 설계는 모든 지표에서 일관된 향상을 이끌어내며, 가장 강력한 베이스라인인 DEMUCS 대비 +0.24 PESQ, +0.6% STOI, +0.30 CSIG, +0.35 CBAK, +0.33 COVL 향상 효과를 보였다.
• CRB-AIAT 버전만으로도 DCCRN 대비 0.47 PESQ 및 0.60 CSIG 향상 효과를 보이며, AIAT 모듈의 효과를 입증했다.
• 두 분지를 모두 포함한 전체 DB-AIAT 모델이 가장 뛰어난 성능을 보였으며, 크기 스펙트럼과 복소 스펙트럼 보정 간의 보완적 이점이 확인되었다.
• AIAT 모듈은 성능 향상에 크게 기여했으며, AHA 기능이 없는 DB-ATFAT 대비 COVL +0.39, CBAK +0.39 향상으로 계층적 주의의 중요성을 입증했다.
• 오직 281만 개의 파라미터로도 DB-AIAT는 최신 기술 수준의 성능을 유지하면서도 경쟁 모델들보다 훨씬 더 파라미터 효율성이 뛰어나다.

Fig. 2 : (a) The diagram of ATFAT blocks. (b) The diagram of the AHA module.