[논문 리뷰] Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement

Andong Li, Minmin Yuan외 2명|arXiv (Cornell University)|2019. 08. 28.

Speech and Audio Processing참고 문헌 41인용 수 10

한 줄 요약

이 논문은 단일 음성 증강을 위한 인과 컨볼루션 순환 신경망을 사용하는 점진적 학습 프레임워크인 PL-CRNN을 제안하며, PL-DNN, PL-LSTM 및 CRNN 대비 92-97% 적은 파라미터로 뛰어난 음성 품질과 명료도를 달성한다. 이 방법은 계산 복잡도를 감소시키면서도 저SNR 조건에서 특히 높은 성능을 유지한다.

ABSTRACT

Recently, progressive learning has shown its capacity to improve speech quality and speech intelligibility when it is combined with deep neural network (DNN) and long short-term memory (LSTM) based monaural speech enhancement algorithms, especially in low signal-to-noise ratio (SNR) conditions. Nevertheless, due to a large number of parameters and high computational complexity, it is hard to implement in current resource-limited micro-controllers and thus, it is essential to significantly reduce both the number of parameters and the computational load for practical applications. For this purpose, we propose a novel progressive learning framework with causal convolutional recurrent neural networks called PL-CRNN, which takes advantage of both convolutional neural networks and recurrent neural networks to drastically reduce the number of parameters and simultaneously improve speech quality and speech intelligibility. Numerous experiments verify the effectiveness of the proposed PL-CRNN model and indicate that it yields consistent better performance than the PL-DNN and PL-LSTM algorithms and also it gets results close even better than the CRNN in terms of objective measurements. Compared with PL-DNN, PL-LSTM, and CRNN, the proposed PL-CRNN algorithm can reduce the number of parameters up to 93%, 97%, and 92%, respectively.

연구 동기 및 목표

• 기존의 딥러닝 기반 단일 음성 증강 모델이 자원 제한 환경에서 높은 계산 비용과 큰 파라미터 수를 가지는 문제를 해결하기 위해.
• 기존 방법이 실패하는 저신호대잡음비(SNR) 조건에서 음성 품질과 명료도를 향상시키기 위해.
• 점진적 학습을 통합하고 파라미터 효율적인 인과 CRNN 아키텍처를 활용하여 모델 복잡도를 감소시키면서 성능을 유지하기 위해.
• 다양한 학습 목표가 음성 증강 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 제안된 PL-CRNN 프레임워크는 각 점진적 학습 단계에서 인과 컨볼루션 순환 신경망(CRNN)을 기본 서브모델로 사용하여 미래의 컨텍스트 없이 실시간 추론이 가능하다.
• 모든 점진적 단계에 걸쳐 파라미터 공유 기법을 적용하여 총 학습 가능한 파라미터 수를 크게 감소시키면서도 성능 향상을 유지한다.
• 점진적 학습은 훈련을 다수의 단계로 나누며, 각 단계에서 SNR를 점진적으로 향상시키고, 중간 출력 결과를 다음 단계의 사전 지식으로 사용한다.
• 모델은 음성 품질에 미치는 영향을 평가하기 위해 청소된 음성과 스펙트럼 매스크라는 두 가지 다른 학습 목표를 사용한다.
• 아키텍처는 CNN의 국소 스펙트럼 특징 추출 능력과 RNN의 음성에서 장기적인 시간적 의존성 모델링 능력을 결합한다.
• 계산 복잡도를 정량화하기 위해 부동소수점 곱셈-덧셈(FMA) 연산을 사용하였으며, 기준 모델 대비 FMA 수가 크게 감소한 것으로 나타났다.

실험 결과

연구 질문

• RQ1 인과 CRNN를 사용하는 점진적 학습 프레임워크가 PL-DNN 및 PL-LSTM에 비해 훨씬 낮은 모델 복잡도로 더 뛰어난 음성 증강 성능을 달성할 수 있는가?
• RQ2 점진적 단계 간의 파라미터 공유가 파라미터 수와 음성 증강 성능에 어떤 영향을 미치는가?
• RQ3 다른 학습 목표(예: 청소된 음성 대비 스펙트럼 매스크)가 최종 증강 품질에 미치는 영향은 어떠한가?
• RQ4 점진적 학습 전략은 저SNR 및 비정적 잡음 조건에서 성능 향상에 기여하는가?
• RQ5 CRNN 기반 모델은 훨씬 적은 파라미터 수와 낮은 FMA 수로 표준 CRNN와 비교해 유사하거나 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• PL-CRNN는 PL-DNN 대비 최대 93% 감소, PL-LSTM 대비 97% 감소, CRNN 대비 92% 감소한 파라미터 수를 기록하여 가장 높은 파라미터 효율성을 확보하였다.
• PL-CRNN는 미리 보지 않은 잡음 조건에서 PESQ 2.60, STOI 0.90을 달성하여, PL-DNN(PESQ: 2.36, STOI: 0.87), PL-LSTM(PESQ: 2.44, STOI: 0.88), CRNN(PESQ: 2.55, STOI: 0.89)를 모두 능가하는 성능을 보였다.
• 단지 122만 개의 파라미터를 가진 PL-CRNN는 440만 개의 파라미터를 가진 SCRNN보다 뛰어난 성능을 보였으며, CRNN의 25%에 불과한 파라미터로도 효율성을 입증하였다.
• Q=5 단계일 경우 FMA 수(994만)가 SCRNN(634만)보다 略로 높지만, Q=3일 경우 FMA 수(594만)가 더 낮고 SCRNN보다 뛰어난 성능을 기록하였다.
• 점진적 학습은 저SNR 조건에서 특히 뛰어난 성능 향상을 이끌어내었으며, 이는 향상된 학습 역학과 단계 간 사전 지식 전달 덕분이었다.
• LSTM 전용 네트워크에서의趋음 효과가 확인되었으며, 스태킹된 LSTM 레이어의 파라미터 수를 늘려도 성능 향상이 비례적으로 이루어지지 않았다.