[논문 리뷰] Dynamic Noise Embedding: Noise Aware Training and Adaptation for Speech Enhancement

Joohyung Lee, Youngmoon Jung외 2명|arXiv (Cornell University)|2020. 08. 27.

Speech and Audio Processing참고 문헌 40인용 수 11

한 줄 요약

이 논문은 음성 강화를 위한 노이즈 인식 훈련 방법인 동적 노이즈 임베딩(Dynamic Noise Embedding, DNE)을 제안한다. 이 방법은 음성 활성도 검출(Voice Activity Detection, VAD)을 활용하여 비음성(노이즈 전용) 프레임을 식별하고, 단순한 피드포워드 신경망을 통해 노이즈 적응형 임베딩을 추출한다. DNE는 입력 특징에 연결되어 비정적 및 미리 보지 않은 노이즈 환경에서의 강건성을 향상시킨다. 이로 인해 새로운 노이즈 환경에서 PESQ(+8.58%)와 STOI(+11.6%)에서 뚜렷한 향상이 이루어졌으며, 다양한 신경망 아키텍처에서 일관된 성능 향상이 관찰되었다.

ABSTRACT

Estimating noise information exactly is crucial for noise aware training in speech applications including speech enhancement (SE) which is our focus in this paper. To estimate noise-only frames, we employ voice activity detection (VAD) to detect non-speech frames by applying optimal threshold on speech posterior. Here, the non-speech frames can be regarded as noise-only frames in noisy signal. These estimated frames are used to extract noise embedding, named dynamic noise embedding (DNE), which is useful for an SE module to capture the characteristic of background noise. The DNE is extracted by a simple neural network, and the SE module with the DNE can be jointly trained to be adaptive to the environment. Experiments are conducted on TIMIT dataset for single-channel denoising task and U-Net is used as a backbone SE module. Experimental results show that the DNE plays an important role in the SE module by increasing the quality and the intelligibility of corrupted signal even if the noise is non-stationary and unseen in training. In addition, we demonstrate that the DNE can be flexibly applied to other neural network-based SE modules.

연구 동기 및 목표

• 기존 방법이 노이즈 특성의 불일치로 어려움을 겪는 비정적 및 새로운 노이즈 환경에서 음성 강화의 강건성을 향상시키기 위해.
• 명시적인 노이즈 레이블이 필요 없이 배경 노이즈 특성을 동적으로 캡처할 수 있는 노이즈 인식 훈련 메커니즘을 개발하기 위해.
• VAD 예측 비음성 프레임을 노이즈 정보의 근원으로 활용하여 VAD 및 음성 강화 모듈을 공동 최적화할 수 있도록 하기 위해.
• 다양한 딥러닝 기반 음성 강화 아키텍처를 향상시킬 수 있는 유연하고 플러그인 방식의 노이즈 임베딩(DNE)을 설계하기 위해.
• DNE가 음성 품질(PESQ)과 이해도(STOI) 향상에 효과적임을 입증하며, 특히 도전적인 노이즈 조건에서의 성능 향상을 보여주기 위해.

제안 방법

• 음성 후행 확률에 임계값을 적용하여 비음성 프레임을 식별함으로써 VAD가 음성 외의 프레임(즉, 노이즈 전용 프레임)을 탐지한다.
• VAD 출력을 사용하여 노이즈만 포함된 프레임을 노이즈 음성 신호에서 추출하여 노이즈 표현의 기초를 마련한다.
• 이러한 추정된 노이즈 전용 프레임의 크기 스펙트럼을 간단한 피드포워드 신경망(FCL)이 처리하여 동적 노이즈 임베딩(DNE)을 생성한다.
• DNE는 음성 강화(SE) 모듈의 입력 음향 특징(예: 로그 파wer 스펙트럼)에 연결되어 현재 노이즈 특성에 기반한 모델 조정을 가능하게 한다.
• SE 및 VAD 모듈이 엔드 투 엔드로 공동 훈련되어 DNE가 노이즈 인식 방식으로 최적화될 수 있도록 한다.
• 이 방법은 U-Net, DDAE, BLSTM 등의 다양한 백본 아키텍처에 적용되어 일반화 및 유연성을 입증한다.

실험 결과

연구 질문

• RQ1 VAD에서 유도된 비음성 프레임이 배경 노이즈 특성을 추정하기 위한 노이즈 전용 구성요소로 신뢰성 있게 기능할 수 있는가?
• RQ2 동적으로 학습된 노이즈 임베딩(DNE)을 통합함으로써 새로운 노이즈 및 비정적 노이즈 환경에서 음성 강화 성능이 향상되는가?
• RQ3 VAD의 음성 후행 확률에 대한 임계값의 선택이 DNE의 품질과 강건성에 어떤 영향을 미치는가?
• RQ4 DNE는 다양한 딥러닝 기반 음성 강화 아키텍처 간에 효과적으로 이식되어 성능 향상에 기여할 수 있는가?
• RQ5 DNE를 사용한 VAD 및 SE 모듈의 공동 훈련은 독립적 또는 사전 훈련된 모듈 조합보다 더 효과적인가?

주요 결과

• 제안된 DNE 방법은 기준 U-Net 대비 새로운 노이즈 환경에서 PESQ에 대해 상대적 향상 8.58%, STOI에 대해 11.6% 향상하여 노이즈 불일치에 대한 강건성을 입증했다.
• DNE는 갑작스럽고 비정적 특성을 띠는 기계권총 노이즈에서 성능 향상이 뚜렷하게 나타나, 일시적이고 예측 불가능한 노이즈 처리에 효과적임을 보였다.
• VAD 기반 노이즈 프레임 선택에 가장 적합한 임계값은 0.3으로 밝혀졌으며, 이는 신뢰성과 프레임 수의 균형을 이루기 때문이다. 0.3 이하의 임계값은 프레임 수 부족으로 성능 저하를 초래했다.
• 신뢰할 수 있는 노이즈 프레임의 평균(CN)을 사용하면 성능 향상이 가능하지만, 모든 프레임에 대한 단순 평균(SN)은 성능 저하를 초래하여 성능이 악화되었다.
• DNE는 U-Net, DDAE, BLSTM 등 여러 아키텍처에서 일관되게 성능 향상을 보였으며, 보조 특징으로서의 일반화 및 유연성을 입증했다.
• 절단 실험에서 DNE는 기준 모델 및 다른 대체 노이즈 추정 방법보다 우수한 성능을 보였으며, 특히 새로운 노이즈 조건에서의 성능 향상으로 인해 노이즈 인식 훈련에 있어 그 가치를 확인했다.