[논문 리뷰] Fast FullSubNet: Accelerate Full-band and Sub-band Fusion Model for Single-channel Speech Enhancement

Xiang Hao, Xiaofei Li|arXiv (Cornell University)|2022. 12. 18.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 FullSubNet의 계산 복잡도를 줄이기 위해 음성 신호를 멜 주파수 도메인에서 처리하고 하위 대역 특징에 대해 시간 도메인에서의 다운샘플링을 적용함으로써 계산 효율성이 높은 아키텍처인 Fast FullSubNet을 제안한다. 주파수 대역 수를 257에서 64로 줄이고 하위 대역 시퀀스를 2배로 다운샘플링함으로써 Fast FullSubNet은 FullSubNet의 계산 복잡도의 13%와 처리 시간의 16%를 달성하면서도 DNS Challenge 데이터셋에서 음성 증강 성능을 유지하거나 향상시킨다.

ABSTRACT

FullSubNet is our recently proposed real-time single-channel speech enhancement network that achieves outstanding performance on the Deep Noise Suppression (DNS) Challenge dataset. A number of variants of FullSubNet have been proposed, but they all focus on the structure design towards better performance and are rarely concerned with computational efficiency. For many speech enhancement applications, a key feature is that system runs on a real-time, latency-sensitive, battery-powered platform, which strictly limits the algorithm latency and computational complexity. In this work, we propose a new architecture named Fast FullSubNet dedicated to accelerating the computation of FullSubNet. Specifically, Fast FullSubNet processes sub-band speech spectra in the mel-frequency domain by using cascaded linear-to-mel full-band, sub-band, and mel-to-linear full-band models such that frequencies involved in the sub-band computation are vastly reduced. After that, a down-sampling operation is proposed for the sub-band input sequence to further reduce the computational complexity along the time axis. Experimental results show that, compared to FullSubNet, Fast FullSubNet has only 13\% computational complexity and 16\% processing time, and achieves comparable or even better performance. Code and audio samples are available at https://github.com/Audio-WestlakeU/FullSubNet.

연구 동기 및 목표

• 특히 실시간, 지연 민감도가 높고 배터리로 구동되는 애플리케이션에서 반복적인 하위 대역 모델 추론으로 인해 발생하는 FullSubNet의 높은 계산 비용을 해결하기 위해.
• 전반 주파수 대역 및 하위 대역 융합 모델에서 음성 증강 성능을 훼손하지 않으면서 계산 복잡도를 줄이기 위해.
• 스펙트럼 정보를 효율적으로 표현하면서도 청취 품질을 유지할 수 있도록 음성을 멜 주파수 도메인에서 처리하는 것이 가능한지 탐색하기 위해.
• 기타 FullSubNet 변종 및 융합 기반 음성 증강 모델에 적용 가능한 유연하고 즉시 사용 가능한 가속화 프레임워크를 설계하기 위해.

제안 방법

• 257개의 주파수 대역에서부터 멜 주파수 도메인으로의 선형 주파수 STFT 특징 변환을 통해 주파수 대역 수를 64로 줄여 더 컴act한 처리를 가능하게 한다.
• 세 모델을 연결: 멜 주파수 도메인에서 작동하는 전반 주파수 모델, 압축된 멜 빈에서 작동하는 하위 대역 모델, 스펙트럼 복원을 위한 멜-선형 전반 주파수 모델.
• 하위 대역 특징 시퀀스에 시간 도메인 다운샘플링(요소 m=2)을 적용하여 시간 복잡도를 감소시키고, 이후 멜-선형 모델을 통해 보간한다.
• 모든 모델에서 단방향 LSTMs를 사용하며, 은닉 유닛 수는 384~512개로 설정하고, DNS Challenge 데이터셋에서 T=192 프레임(3초)으로 MSE 손실을 기반으로 훈련한다.
• 후행 멜-선형 모델을 활용해 다운샘플된 하위 대역 출력을 보간함으로써 전반 주파수 스펙트럼의 효율적 복원을 가능하게 한다.
• 하위 대역 모델링에서 이웃 주파수 수 N=5로 설정하여 국소 스펙트럼 맥락과 계산 부담 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 멜 주파수 도메인에서의 처리가 음성 증강 성능을 떨어뜨리지 않으면서도 주파수 대역 수를 크게 줄일 수 있는가?
• RQ2 멜-선형 복원 모델과 결합했을 때 하위 대역 특징의 시간 도메인 다운샘플링이 효과적인 음성 증강을 위해 충분한 정보를 유지하는가?
• RQ3 FullSubNet과 같은 전반 주파수 및 하위 대역 융합 모델에서 계산 복잡도와 추론 지연을 얼마나 줄일 수 있는가?
• RQ4 성능 지표와 효율성 측면에서 Fast FullSubNet의 성능은 최신 기술 수준(SOTA) 방법과 비교해 어떻게 되는가?

주요 결과

• m=2의 다운샘플링 요소를 가진 Fast FullSubNet은 계산 복잡도를 FullSubNet의 13%로 줄이고 추론 시간을 16%로 감소시키며 성능을 유지하거나 향상시킨다.
• m=1(시간 다운샘플링 없음)일 경우, MACs는 25%로 감소하고 RTF는 29%로 감소하며, PESQ, STOI, SI-SDR 점수는 유사하거나 향상된 성능을 기록한다.
• 멜 주파수 표현의 사용은 선형 주파수 전반 주파수 모델보다 성능 향상을 이끌어내었으며, 이는 더 컴act하고 청취에 관련성이 높은 스펙트럼 표현 덕분일 것이다.
• m=2의 하위 대역 다운샘플링은 거의 최적의 균형을 이룬다: m를 4나 8로 늘리면 성능이 떨어지고, m=∞(하위 대역 모델 제거)일 경우 m=8과 유사한 결과를 얻는다.
• 높은 다운샘플링 요소에서의 성능 저하 원인은 볼록도가 감소한 후행 맥락 때문이며, 후행 프레임 수를 늘리면 더 높은 다운샘플링 요소를 사용해도 성능 손실 없이 유지할 수 있다.
• Fast FullSubNet의 가속 전략은 일반화 가능하며, 다른 FullSubNet 변종에 적용 가능하여 전반 주파수 및 하위 대역 융합 모델의 효율성 향상에 즉시 사용 가능한 솔루션을 제공한다.