[논문 리뷰] PHASEN: A Phase-and-Harmonics-Aware Speech Enhancement Network

Dacheng Yin, Chong Luo외 2명|arXiv (Cornell University)|2019. 11. 12.

Speech and Audio Processing참고 문헌 22인용 수 26

한 줄 요약

PHASEN은 단일 음성 증강을 위한 복소수 마스크의 진폭과 위상 마스크를 동시에 예측하기 위해 이중 스트림 딥 네트워크를 제안하며, 이중 방향 특징 공유와 학습 가능한 주파수 변환 블록을 포함한다. 조화파 상관관계를 명시적으로 모델링하고 스트림 간 지도 역할을 가능하게 함으로써, AVSpeech + AudioSet에서 이전 방법보다 SDR가 1.76 dB 향상되었고, Voice Bank + DEMAND에서 네 가지 지표에서 최신 기술을 초월한다.

ABSTRACT

Time-frequency (T-F) domain masking is a mainstream approach for single-channel speech enhancement. Recently, focuses have been put to phase prediction in addition to amplitude prediction. In this paper, we propose a phase-and-harmonics-aware deep neural network (DNN), named PHASEN, for this task. Unlike previous methods that directly use a complex ideal ratio mask to supervise the DNN learning, we design a two-stream network, where amplitude stream and phase stream are dedicated to amplitude and phase prediction. We discover that the two streams should communicate with each other, and this is crucial to phase prediction. In addition, we propose frequency transformation blocks to catch long-range correlations along the frequency axis. The visualization shows that the learned transformation matrix spontaneously captures the harmonic correlation, which has been proven to be helpful for T-F spectrogram reconstruction. With these two innovations, PHASEN acquires the ability to handle detailed phase patterns and to utilize harmonic patterns, getting 1.76dB SDR improvement on AVSpeech + AudioSet dataset. It also achieves significant gains over Google's network on this dataset. On Voice Bank + DEMAND dataset, PHASEN outperforms previous methods by a large margin on four metrics.

연구 동기 및 목표

• 기존의 T-F 도메인 음성 증강 방법에서 위상 예측 성능이 열 劣한 문제를 해결하기 위해, 특히 복소수 이상 비율 마스크(cIRM) 감독을 사용할 경우에 초점을 맞춘다.
• 진폭 스트림과 위상 스트림 간 이중 방향 정보 교환을 통해 설계된 이중 스트림 아키텍처를 통해 위상 복구를 향상시킨다.
• 일반적인 컨볼루션 네트워크가 국소적 수신 필드를 가지므로 놓치기 쉬운 음성 스펙트로그램 내 장거리 조화파 상관관계를 포착한다.
• 데이터로부터 자동으로 조화파 패턴을 학습하는 학습 가능한 주파수 변환 메커니즘을 개발한다.
• 최신 기술의 시간 도메인 및 T-F 도메인 방법과 비교하여 대규모 및 소규모 데이터셋 모두에서 뛰어난 성능을 입증한다.

제안 방법

• PHASEN은 이중 스트림 U-Net 유사 아키텍처를 사용한다: 한 스트림은 진폭 마스크를 예측하고, 다른 스트림은 복소수 위상 성분을 예측한다.
• 두 스트림은 상호 이중 방향으로 통신하며, 진폭 예측이 위상 추정을 지도함으로써 위상 정확도가 크게 향상된다.
• 진폭 스트림에 주파수 변환 블록(FTB)을 삽입하여 전반적인 주파수 상관관계, 특히 조화파 구조를 모델링한다.
• FTB는 학습 가능한 변환 행렬을 사용하며, 가시화 결과에서 주파수 빈도 간 강한 조화파 패턴이 자동으로 포착됨을 확인할 수 있다.
• 진폭 스트림에는 배치 정규화를 사용하고, 위상 스트림에는 게이트드 레이어 정규화를 적용하여 학습 안정성과 성능 향상을 도모한다.
• cIRM을 감독 타겟으로 사용하여 엔드 투 엔드로 네트워크를 학습하며, SDR 및 PESQ 최적화를 위한 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 진폭 스트림과 위상 스트림 간 이중 방향 특징 공유가 음성 증강에서 위상 예측 성능을 크게 향상시키는가?
• RQ2 학습 가능한 주파수 변환 블록(FTB)이 음성 스펙트로그램 내 장거리 조화파 상관관계를 효과적으로 모델링하는가?
• RQ3 특화된 정규화 및 통신 메커니즘을 갖춘 제안된 이중 스트림 아키텍처가 기존의 T-F 도메인 및 시간 도메인 음성 증강 모델을 초월하는가?
• RQ4 PHASEN은 다양한 노이즈 환경과 발화자 변동에 대해 얼마나 일반화되는가?
• RQ5 PHASEN의 성능은 대규모 및 소규모 벤치마크 데이터셋에서 최신 기술 방법과 비교해 어떻게 되는가?

주요 결과

• AVSpeech + AudioSet 데이터셋에서 PHASEN은 기준 모델 대비 SDR가 1.76 dB 향상되었으며, 훈련 스텝 수의 1/5, 데이터 양의 1/24만을 사용함에도 불구하고 구글의 cIRM 기반 방법을 뛰어넘었다.
• Voice Bank + DEMAND 데이터셋에서 PHASEN은 네 가지 지표—PESQ(2.99), CSIG(4.21), CBAK(3.55), COVL(3.62)에서 최고 점수를 기록하여 하이브리드 MDPhD 모델조차도 초월했다.
• 절단 실험 결과, 스트림 간 이중 방향 통신이 핵심임을 확인: 이를 제거하면 SDR가 0.5–1.0 dB 감소하여 진폭 지도가 정확한 위상 예측에 필수적임을 입증했다.
• 주파수 변환 블록(FTB)은 자동으로 조화파 패턴을 학습한다; 가시화된 가중치에서 조화파 주파수 간 강한 상관관계가 확인되어 설계 목적을 검증했다.
• 위상 스트림에서 ReLU 또는 Tanh 활성화 함수를 사용할 경우 SDR가 최대 5.52 dB 감소하여, 원래의 활성화 없음 설계가 위상 학습에 필수적임을 확인했다.
• 모델 성능은 다양한 데이터셋에서 뛰어난 안정성을 보였다: SEGAN, WaveNet, DFL과 같은 시간 도메인 모델을 압도했고, MMSE-GAN 및 MDPhD과 같은 T-F 방법을 뛰어넘어, 공동 위상 및 조화파 모델링의 효과성을 입증했다.