[논문 리뷰] RHR-Net: A Residual Hourglass Recurrent Neural Network for Speech Enhancement

Jalal Abdulbaqi, Yue Gu외 1명|arXiv (Cornell University)|2019. 04. 15.

Speech and Audio Processing참고 문헌 36인용 수 5

한 줄 요약

RHR-Net는 파형 기반 음성 향상에 대한 엔드 투 엔드 풀리-재귀적, 시계열형 잔차 신경망을 제안하며, 이는 이중 방향 장기 단기 기억(LSTM) 유닛을 활용하여 위상 손실 없이 장거리 시간적 의존성을 포착한다. 또한 확장된 컨볼루션보다 메모리 집약적인 구조를 피한다. 이는 여섯 가지 평가 지표에서 최신 기술 수준의 성능을 달성하며, 음성 품질과 이해 가능성 면에서 이전 방법들을 능가한다.

ABSTRACT

Most current speech enhancement models use spectrogram features that require an expensive transformation and result in phase information loss. Previous work has overcome these issues by using convolutional networks to learn long-range temporal correlations across high-resolution waveforms. These models, however, are limited by memory-intensive dilated convolution and aliasing artifacts from upsampling. We introduce an end-to-end fully-recurrent hourglass-shaped neural network architecture with residual connections for waveform-based single-channel speech enhancement. Our model can efficiently capture long-range temporal dependencies by reducing the features resolution without information loss. Experimental results show that our model outperforms state-of-the-art approaches in six evaluation metrics.

연구 동기 및 목표

• 스펙트로그램 기반 음성 향상의 한계, 즉 위상 정보 손실과 비용이 많이 드는 변환 단계를 해결하기 위해.
• 기존 파형 기반 모델에서 메모리 집약적인 확장 컨볼루션과 앨리어싱 아티팩트를 극복하기 위해.
• 원시 파형에서 장거리 시간적 의존성을 효율적으로 포착할 수 있는 완전히 재귀적인 아키텍처를 개발하기 위해.
• 중간 특징 추출 없이 원시 음성에서 직접 엔드 투 엔드 학습을 가능하게 하기 위해.
• 새로운 재귀적 시계열형 구조를 통해 노이즈가 많은 환경에서 음성 품질과 이해 가능성 향상을 위해.

제안 방법

• 모델은 양방향 장기 단기 기억(Bi-LSTM) 유닛을 사용한 대칭적인 인코더 및 디코더 경로를 가진 시계열형 아키텍처를 채택한다.
• 인코더와 디코더의 대응하는 레이어 간에 잔차 연결을 적용하여 학습 안정성과 기울기 흐름 향상을 도모한다.
• 모델은 스펙트로그램 변환을 피하고 원시 파형을 직접 처리함으로써 위상 정보를 유지한다.
• 다운샘플링은 인코더에서 스트라이드 LSTM을 통해 수행되고, 업샘플링은 디코더에서 전치(LSTM)를 통해 이루어진다.
• 특징를 정보 손실 없이 압축하기 위해 차원 수가 감소한 봉우리(Bottleneck) 레이어를 사용한다.
• 강화된 파형과 청소된 파형 간의 평균 제곱 오차 손실을 사용하여 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 완전히 재귀적인 시계열형 네트워크가 원시 음성 파형에서 장거리 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 확장 컨볼루션 네트워크와 비교해 잔차 시계열형 설계가 메모리 소비를 줄이고 앨리어싱 아티팩트를 방지하는가?
• RQ3 스펙트로그램 특징을 사용하지 않고도 기존 최신 기술 수준의 접근 방식을 능가할 수 있는가?
• RQ4 위상 정보 유지가 노이즈가 많은 조건에서 음성 품질과 이해 가능성에 어떤 영향을 미치는가?
• RQ5 잔차 연결 메커니즘이 제안된 아키텍처에서 학습 안정성과 성능 향상에 얼마나 기여하는가?

주요 결과

• RHR-Net은 PESQ, STOI, SNR 등 여섯 가지 평가 지표에서 최신 기술 수준의 성능을 달성하며, 이전 방법들을 능가한다.
• 위상 유지와 효과적인 장거리 모델링 덕분에 특히 저 SNR 조건에서 뛰어난 음성 품질과 이해 가능성 성능을 보인다.
• 스펙트로그램 변환 없이 인해 위상 정보 손실가 발생하지 않아 청취자 경험 향상에 기여한다.
• 잔차 연결이 학습 안정성과 수렴 성능을 크게 향상시켜 더 깊은 네트워크 아키텍처를 가능하게 한다.
• 스트라이드 및 전치 LSTM을 활용한 시계열형 설계는 정보 손실 없이 특징 해상도를 효율적으로 감소 및 재구성한다.
• 확장 컨볼루션 기반 접근 방식과 비교해 계산 오버헤드가 감소한 경쟁력 있는 성능을 달성한다.