[논문 리뷰] Frequency Gating: Improved Convolutional Neural Networks for Speech Enhancement in the Time-Frequency Domain

Koen Oostermeijer, Qing Wang외 1명|arXiv (Cornell University)|2020. 12. 07.

Speech and Audio Processing참고 문헌 33인용 수 3

한 줄 요약

이 논문은 학습된 곱셈 가중치를 통해 CNN 커널을 주파수 의존적으로 만들기 위한 주파수 게이팅(Frequency Gating)을 제안한다. 이는 표준 CNN보다 성능 향상을 이룬다. 국소적이고 주파수별로 게이팅하는 메커니즘과 새로운 ESTOI 기반 손실 함수를 도입하였으며, 음성 품질과 명료도 측면에서 기준 모델을 능가한다.

ABSTRACT

One of the strengths of traditional convolutional neural networks (CNNs) is their inherent translational invariance. However, for the task of speech enhancement in the timefrequency domain, this property cannot be fully exploited due to a lack of invariance in the frequency direction. In this paper we propose to remedy this inefficiency by introducing a method, which we call Frequency Gating, to compute multiplicative weights for the kernels of the CNN in order to make them frequency dependent. Several mechanisms are explored: temporal gating, in which weights are dependent on prior time frames, local gating, whose weights are generated based on a single time frame and the ones adjacent to it, and frequency-wise gating, where each kernel is assigned a weight independent of the input data. Experiments with an autoencoder neural network with skip connections show that both local and frequency-wise gating outperform the baseline and are therefore viable ways to improve CNN-based speech enhancement neural networks. In addition, a loss function based on the extended short-time objective intelligibility score (ESTOI) is introduced, which we show to outperform the standard mean squared error (MSE) loss function.

연구 동기 및 목표

• 시간-주파수 도메인에서 표준 CNN의 한계를 해결하기 위해, 이동 불변성이 주파수 불변성 부족로 인해 완전히 활용되지 않는다는 점을 다루기 위해.
• 학습된 게이팅 메커니즘을 통해 CNN 커널이 주파수 내용에 적응 가능하도록 하여 음성 강화 성능을 향상시키기 위해.
• 시간, 국소, 주파수별로 게이팅 전략을 탐색하여 시간-주파수 표현에서 특징 학습을 가장 잘 향상시키는 전략을 규명하기 위해.
• 확장된 단기 목표 명료도(ESTOI) 점수를 기반으로 한 새로운 손실 함수를 개발하고 평가하여 훈련 과정을 청각적 음성 품질과 명료도에 더 잘 맞추기 위해.
• 주파수 의존적 커널 가중치와 ESTOI 기반 훈련이 표준 CNN과 MSE 손실을 사용한 경우보다 열등한 음성 강화 결과를 도출한다는 것을 입증하기 위해.

제안 방법

• CNN 커널을 주파수 의존적으로 만들기 위해 곱셈 가중치를 계산하는 주파수 게이팅 메커니즘을 제안한다. 이는 스펙트럼 특징의 더 나은 모델링을 가능하게 한다.
• 세 가지 게이팅 변형을 구현한다: 시간 게이팅(이전 시간 프레임에 따라 가중치 결정), 국소 게이팅(현재 및 인접 프레임 기반 가중치), 주파수별 게이팅(커널별 고정 주파수 가중치).
• 스킵 연결을 갖춘 U-Net 유사 오토인코더에 게이팅 메커니즘을 통합하여 강화 과정에서 고해상도 특징을 유지한다.
• 확장된 단기 목표 명료도(ESTOI) 점수를 기반으로 한 새로운 손실 함수를 설계하여 청각적 음성 품질과 명료도 최적화를 위해 사용한다.
• 게이팅 가중치와 네트워크 파라미터를 ESTOI 기반 손실을 통해 동시에 최적화하는 엔드 투 엔드 백프로파게이션으로 네트워크를 훈련시킨다.
• 표준 평가 지표인 PESQ, STOI, ESTOI를 사용하여 다양한 게이팅 전략과 손실 함수 간 성능을 비교 평가한다.

실험 결과

연구 질문

• RQ1 주파수 의존적 커널 가중치 부여가 시간-주파수 기반 음성 강화에서 CNN의 성능 향상에 기여하는가?
• RQ2 시간, 국소, 주파수별 게이팅 메커니즘은 음성 품질과 명료도 측면에서 어떻게 상호 비교되는가?
• RQ3 ESTOI 기반 손실 함수로 훈련하면 표준 MSE 손실보다 더 나은 강화 결과를 얻을 수 있는가?
• RQ4 주파수 게이팅은 노이즈 억제를 하면서도 음성 세부 정보를 얼마나 잘 유지할 수 있는가?
• RQ5 제안된 방법은 목적적 및 청각적 음성 품질 지표 모두에서 표준 CNN을 능가할 수 있는가?

주요 결과

• 국소 게이팅과 주파수별 게이팅 메커니즘이 모두 표준 CNN 기준 모델보다 음성 강화 성능에서 뛰어나다.
• 제안된 ESTOI 기반 손실 함수는 표준 평균 제곱 오차(MSE) 손실보다 더 나은 결과를 낸다. 특히 음성 명료도 향상 측면에서 뚜렷한 개선을 보인다.
• 주파수별 게이팅이 제안된 게이팅 전략 중에서 가장 뛰어난 성능을 보이며, 고정 주파수 의존적 커널 가중치가 매우 효과적이라는 것을 시사한다.
• 주파수별 게이팅과 ESTOI 손실의 조합은 STOI 및 ESTOI와 같은 목적적 지표에서 뚜렷한 향상을 이룬다.
• 주파수 게이팅과 ESTOI 손실을 적용한 모델은 기준 모델 대비 더 높은 PESQ 및 STOI 점수를 기록하여 음성 품질과 명료도 향상됨을 입증한다.
• 결과는 주파수 게이팅을 통한 CNN 커널의 주파수 의존성 부여가 시간-주파수 도메인에서 특징 학습을 향상시켜 더 견고한 음성 강화를 가능하게 한다는 것을 확인한다.