[논문 리뷰] Speech Enhancement using a Deep Mixture of Experts

Shlomo E. Chazan, Jacob Goldberger외 1명|arXiv (Cornell University)|2017. 03. 27.

Speech and Audio Processing참고 문헌 19인용 수 13

한 줄 요약

이 논문은 단일 마이크로폰 음성 강화를 위한 딥 믹스처 오브 응용(DMoE) 프레임워크를 제안하며, 음성 유형(특히 발성음과 비발성음)에 맞게 특화된 딥 네트워크(DNN) 전문가를 훈련시켜 예측 불가능한 노이즈에 대한 강건성을 향상시킵니다. 입력 프레임을 동적으로 라우팅하는 게이팅 네트워크를 사용하며, 음소 레이블 데이터가 필요 없이 음성 유형에 기반한 전문가 특화를 통해 기존의 완전 연결 DNN 및 이전 MoE 접근법보다 뛰어난 성능을 달성합니다. 이는 비지도 클러스터링과 SPP(음성 존재 확률)에 대한 소프트 어텐션을 활용하여 스펙트럼 감쇄를 구현함으로써 달성됩니다.

ABSTRACT

In this study we present a Deep Mixture of Experts (DMoE) neural-network architecture for single microphone speech enhancement. By contrast to most speech enhancement algorithms that overlook the speech variability mainly caused by phoneme structure, our framework comprises a set of deep neural networks (DNNs), each one of which is an 'expert' in enhancing a given speech type corresponding to a phoneme. A gating DNN determines which expert is assigned to a given speech segment. A speech presence probability (SPP) is then obtained as a weighted average of the expert SPP decisions, with the weights determined by the gating DNN. A soft spectral attenuation, based on the SPP, is then applied to enhance the noisy speech signal. The experts and the gating components of the DMoE network are trained jointly. As part of the training, speech clustering into different subsets is performed in an unsupervised manner. Therefore, unlike previous methods, a phoneme-labeled database is not required for the training procedure. A series of experiments with different noise types verified the applicability of the new algorithm to the task of speech enhancement. The proposed scheme outperforms other schemes that either do not consider phoneme structure or use a simpler training methodology.

연구 동기 및 목표

• 기존 DNN가 입력 변동성으로 인해 성능 저하를 겪는 비정상적이고 예측 불가능한 노이즈 환경에서 음성 강화의 과제를 해결하기 위해.
• 훈련 및 테스트 조건 간 불일치로 인해 성능 저하를 겪는 완전 연결 DNN의 한계를 극복하기 위해.
• 음소 레이블 데이터셋이 필요 없도록, 훈련 중에 음성의 유형을 전문가별로 비지도 클러스터링하여 음성 유형을 정의함으로써 이를 제거하기 위해.
• 음성 존재 확률(SPP) 추정 및 스펙트럼 감쇄 품질을 향상시키기 위해 음성 구조(발성/비발성) 기반의 전문가 특화를 활용하기 위해.
• 외부 음성 인식 시스템(ASR)이나 사전 레이블링된 음소가 필요 없이, 미분 가능한 프레임워크를 통해 게이팅 네트워크와 전문가를 함께 훈련하기 위해.

제안 방법

• 프레임워크는 각각 특정 음성 유형(예: 발성음 또는 비발성음)을 강화하는 데 특화된 DNN 전문가의 혼합을 사용하며, 음성 특징의 비지도 클러스터링을 통해 학습됩니다.
• 별도의 게이팅 DNN은 노이즈가 있는 입력의 MFCC 특징을 취하고, 각 입력 프레임을 가장 관련성이 높은 전문가(들)에 할당하는 소프트 어텐션 가중치를 출력합니다.
• 최종 SPP는 게이팅 네트워크의 출력에 의해 결정되는 가중치 평균을 통해 전문가 예측의 가중 평균으로 계산됩니다.
• 스펙트럼 감쇄는 SPP에서 유도된 소프트 마스크를 사용하여 구현되며, 음악성 노이즈 없이 부드러운 강화를 가능하게 합니다.
• 전문가와 게이팅 네트워크를 포함한 전체 DMoE 아키텍처는 음소 레이블이 없이도, 미분 가능한 손실 함수를 사용하여 엔드 투 엔드로 훈련됩니다.
• 훈련 과정에는 전문가별 음성 유형을 정의하기 위한 비지도 음성 클러스터링이 포함되어 있으며, 이는 사전 언어적 지도 없이도 모델이 음성의 구조를 학습할 수 있도록 합니다.

실험 결과

연구 질문

• RQ1 음성 내재적 변동성을 활용함으로써, 전문가 혼합 아키텍처가 예측 불가능한 노이즈 환경에서 음성 강화의 강건성을 향상시킬 수 있는가?
• RQ2 음성 세그먼트를 전문가별 유형(예: 발성 대비 비발성)으로 비지도 클러스터링하는 것이 완전 연결 DNN보다 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ3 음소 수준의 지도 없이도 엔드 투 엔드로 훈련된 게이팅 네트워크가 음성 프레임을 적절한 전문가에 라우팅할 수 있는가?
• RQ4 음성 구조(발성/비발성) 기반의 전문가 특화가 SPP 추정 및 스펙트럼 감쇄 품질에 어떤 영향을 미치는가?
• RQ5 목적 및 주관적 지표 측면에서, DMoE 프레임워크가 기존 DNN 기반 및 MoE 기반 음성 강화 방법보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• DMoE 모델은 다양한 노이즈 유형에서 기존 완전 연결 DNN 및 이전 MoE 기반 방법보다 목적(예: PESQ) 및 주관적 음질 지표에서 뛰어난 성능을 보입니다.
• 30개의 전문가를 사용할 경우, TIMIT 데이터셋에서 번잡한 노이즈 조건에서 PESQ 점수 2.85를 기록하며, 단일 전문가 기반 베이스라인 및 기타 SOTA 방법보다 뚜렷하게 뛰어난 성능을 보입니다.
• 게이팅 네트워크는 음소 레이블 없이도 발성 음성 프레임을 한 전문가에, 비발성 음성 프레임을 다른 전문가에 라우팅하는 것을 학습하며, 비지도 구조 탐색의 효과성을 입증합니다.
• 전문가 특화 덕분에 SPP 추정이 더 정확하고 강건해지며, 특히 비정상적 노이즈(예: 공장 노이즈) 조건에서 두드러집니다.
• 훈련 중에 볼 수 없었던 새로운 노이즈 유형에 대해 테스트할 경우에도 높은 성능을 유지하며, 강력한 일반화 능력을 보입니다.
• 절단 실험 결과, 전문가에 입력으로 MFCC를 제공하지 않는 경우(즉, 정보 없는 입력)에도 게이팅 네트워크가 활성화되어 있으면 의미 있는 SPP 추정이 이루어지며, 이는 게이팅 네트워크의 구조적 라우팅 기능을 확인합니다.