[논문 리뷰] Deep Residual-Dense Lattice Network for Speech Enhancement

Mohammad Nikzad, Aaron Nicolson외 4명|arXiv (Cornell University)|2020. 02. 27.

Speech and Audio Processing참고 문헌 27인용 수 7

한 줄 요약

이 논문은 잔차 연결과 밀집 연결을 삼각형 격자 구조 내에 통합하여 과도한 파라미터 할당 없이 효율적인 특징 재사용을 가능하게 하는 새로운 컨volution 신경망 아키텍처인 잔차-밀집 격자 네트워크(RDL-Net)를 제안한다. 이 방법은 ResNet, DenseNet, DenseRNet보다 훨씬 적은 파라미터와 낮은 FLOPs를 사용하면서도 최신 기술 수준의 음성 향상 성능을 달성하여 객관적 품질 및 명료도 측정치에서 모두 뛰어난 성능을 보인다.

ABSTRACT

Convolutional neural networks (CNNs) with residual links (ResNets) and causal dilated convolutional units have been the network of choice for deep learning approaches to speech enhancement. While residual links improve gradient flow during training, feature diminution of shallow layer outputs can occur due to repetitive summations with deeper layer outputs. One strategy to improve feature re-usage is to fuse both ResNets and densely connected CNNs (DenseNets). DenseNets, however, over-allocate parameters for feature re-usage. Motivated by this, we propose the residual-dense lattice network (RDL-Net), which is a new CNN for speech enhancement that employs both residual and dense aggregations without over-allocating parameters for feature re-usage. This is managed through the topology of the RDL blocks, which limit the number of outputs used for dense aggregations. Our extensive experimental investigation shows that RDL-Nets are able to achieve a higher speech enhancement performance than CNNs that employ residual and/or dense aggregations. RDL-Nets also use substantially fewer parameters and have a lower computational requirement. Furthermore, we demonstrate that RDL-Nets outperform many state-of-the-art deep learning approaches to speech enhancement.

연구 동기 및 목표

• 기존 잔차 및 밀집 네트워크의 특징 재사용 효율성 문제를 해결하기 위해, ResNet은 특징 열화 문제를 겪고, DenseNet은 파라미터 과도 할당 문제를 야기한다.
• 과도한 파라미터 또는 계산 비용을 유발하지 않으면서도 잔차 및 밀집 집계를 모두 활용하는 새로운 컨volution 신경망 아키텍처를 개발한다.
• 새로운 격자 기반 구조를 통해 블록 내 기울기 흐름을 효과적으로 개선하고 블록 간 특징 재사용을 가능하게 하여 음성 향상 성능을 향상시킨다.
• 제안된 RDL-Net이 최신 기술 수준의 딥 러닝 방법보다 우수한 객관적 품질 및 명료도 점수를 달성함을 입증한다.
• 다양한 데이터셋과 노이즈 조건(예: 거리 음악 및 공장 노이즈 포함)에서 아키텍처의 효율성과 효과성을 검증한다.

제안 방법

• RDL-Net은 컨볼루션 유닛의 삼각형 격자 구조를 사용하며, 국소적 밀집 집계는 격자의 높이에 제한되어 입력 크기와 파라미터 부담을 감소시킨다.
• 블록 내에서 국소적 잔차 연결을 사용하여 기울기 흐름과 학습 안정성을 향상시킨다.
• 전역적 밀집 연결을 통해 블록 간 특징 재사용을 가능하게 하여 표현 학습 능력을 향상시킨다.
• 하이브리드 집계 전략을 사용한다: 기울기 흐름을 위해 잔차 합산, 특징 재사용을 위해 국소적 연결을 사용하여 전체 DenseNet에서 관찰되는 파라미터 폭발 문제를 피한다.
• 딥 시의 프레임워크를 사용하여 학습하며, MMSE-LSA 및 SRWF 음성 향상 모델의 사전 SNR 추정을 수행한다.
• 다양한 SNR 수준의 노이즈가 섞인 음성 데이터에서 표준 평가 지표(PESQ, STOI, MOS-LQO, CSIG, CBAK, COVL)를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 잔차 및 밀집 연결의 이점을 결합하면서도 DenseNet의 파라미터 비효율성을 피할 수 있는 컨볼루션 신경망 아키텍처를 설계할 수 있는가?
• RQ2 제안된 격자 기반 구조가 고성능 음성 향상에 필요한 파라미터 수와 FLOPs를 줄이는 데 기여하는가?
• RQ3 RDL-Net이 잔차 네트워크, 밀집 네트워크 및 최신 기술 수준의 모델보다 객관적 음성 품질과 명료도 측정치에서 얼마나 뛰어나게 성능을 냈는가?
• RQ4 RDL-Net은 거리 음악 및 공장 노이즈와 같은 다양한 노이즈 유형과 SNR 조건에서 어떻게 성능을 발휘하는가?
• RQ5 GAN 기반 및 기타 딥 러닝 방법과 비교해 RDL-Net은 최소한의 스펙트럼 왜곡으로 뛰어난 노이즈 제거 성능을 달성할 수 있는가?

주요 결과

• 10 dB SNR에서 거리 음악 조건에서 RDL-Net은 200만 파라미터로 ResNet보다 MOS-LQO 점수를 0.22 향상시켰다.
• 200만 파라미터 및 200만 FLOPs 조건에서 RDL-Net은 파라미터 수가 두 배이고 FLOPs가 네 배인 ResNet의 최저 검증 오차를 동일하게 달성했다.
• 0 dB SNR에서 공장 노이즈 조건에서 RDL-Net은 동일한 200만 파라미터 조건에서 해당 ResNet 대비 3.5%의 STOI 향상을 달성했다.
• Metric-GAN보다 CSIG에서 0.39, CBAK에서 0.25, COVL에서 0.30, PESQ에서 0.16 향상되었으며, MMSE-GAN 대비 STOI 점수를 1% 향상시켰다.
• RDL-Net에서 향상된 음성은 스펙트로그램 비교를 통해 시각적으로 확인된 바와 같이 최소한의 형성성 왜곡으로 뛰어난 노이즈 제거 성능을 보였다.
• 다양한 데이터셋과 노이즈 조건에서 일관된 성능 향상을 보이며, RDL-Net의 강건성과 일반화 능력을 확인했다.