[논문 리뷰] Deep neural network techniques for monaural speech enhancement: state of the art analysis

Peter Juma Ochieng|arXiv (Cornell University)|2022. 12. 01.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 단일 귀 음성 강화 및 분리에 사용되는 딥 네ural 네트워크(DNN) 기법에 대한 종합적인 최신 기술 분석을 제공한다. 주요 분야로는 특징 추출, 국소적 및 전역적 음성 맥락 모델링, 지도 학습 및 비지도 학습, 모델 압축, 목적 함수, 도메인 적응, 사전 학습 모델이 포함된다. 논문은 주요 추세, 과제, 그리고 향후 방향성을 규명하며, 특히 동적 화자 수 처리 및 자료 효율적 설계에 초점을 맞춰 실생활 응용에서의 강인성과 효율성을 향상시키고자 한다.

ABSTRACT

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

연구 동기 및 목표

• 단일 귀 음성 강화 및 분리의 전반적인 파이프라인에서 사용되는 주요 DNN 기법을 분석하기 위해.
• 장기 의존성 모델링, 알 수 없는 화자 처리, 계산 복잡도 감소 등의 과제를 규명하기 위해.
• 사전 학습 모델과 비지도 학습의 역할이 일반화 능력을 향상시키고 쌍체의 청소된-노이즈 데이터에 대한 의존도를 줄이는 데 어떻게 기여하는지 평가하기 위해.
• 최적의 시퀀스 길이 및 목표 데이터에서의 조기 반사와 같은 자료 중심 개선 방법이 일반화 능력을 향상시키는 데 어떻게 기여하는지 탐색하기 위해.
• 특히 비지도 다중 화자 분리 및 동적 화자 수 적응에 있어 현재 접근 방식의 격차를 부각하기 위해.

제안 방법

• DNN 입력을 위한 로그 파wer 스펙트럼, 메르 주파수 체프스트럼 계수(MFCCs), DFT 크기, 복소수 특징을 포함한 주파수 도메인 및 시간 도메인 특징을 검토한다.
• 장기 음성 의존성을 모델링하기 위해 RNN, 트랜스포머, 시간적 컨volution 네트워크(TCNs)와 같은 DNN 아키텍처를 분석한다.
• 스펙트럼 매핑, 마스킹, 생성 모델링을 통한 지도 학습을 분석하며, 위상 복원 및 목적 함수에 중점을 둔다.
• 지식 정복, 가중치 공유, 양자화, 프루닝, 깊이 분리형 컨볼루션과 같은 모델 압축 기법을 조사한다.
• 비지도 및 자기지도 학습 방법, 예를 들어 대비 학습 및 사전 학습 모델에서 유도된 목적 함수를 평가한다.
• 쌍체의 청소된-노이즈 데이터가 없는 상황에서, 사전 학습 모델을 직접 노이즈 제거에 사용하는 것이 아니라, 중간 특징을 추출하여 목적 함수 계산에 활용함으로써 엔드 투 엔드 학습이 가능하도록 제안한다.

실험 결과

연구 질문

• RQ1 단일 귀 강화에서 국소적 및 전역적 음성 맥락을 모델링하는 데 가장 효과적인 DNN 아키텍처와 특징 표현은 무엇인가?
• RQ2 비지도 및 자기지도 기법이 화자 분리 및 반사 제거 작업에서 지도 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ3 현재 DNN 기반 음성 강화 도구가 추론 시 화자 수가 변동할 경우에 직면하는 주요 제약은 무엇인가?
• RQ4 사전 학습 모델을 어떻게 변형하여 쌍체의 청소된-노이즈 데이터가 없더라도 음성 강화 성능을 향상시킬 수 있는가?
• RQ5 일반화 능력을 향상시키고 계산 오버헤드를 줄이기 위해 어떤 데이터 수준의 수정(예: 목표 데이터에서의 조기 반사)이 유용한가?

주요 결과

• 음성 강화 데이터에 맞춰 미세조정된 사전 학습 모델은 최신 기술 성능을 달성하며, 알려지지 않은 노이즈 유형에 잘 일반화된다.
• 사전 학습 모델의 여러 층에서 추출한 특징을 지도 신호로 활용하면, 전용 노이즈 제거 네트워크를 학습시키지 않더라도 노이즈 제거 성능이 향상된다.
• 지식 정복 및 양자화와 같은 모델 압축 기법은 인퍼런스 지연과 모델 크기를 크게 줄이며, 강화 품질을 유지한다.
• 현재 도구들은 추론 시 학습 시 가정한 화자 수와 다를 경우 차원 불일치 문제를 겪어 효율성 저하 또는 최적의 출력이 나오지 않는 경우가 있다.
• 학습 시 목표 음성에 조기 반사를 통합하면 강화된 음성의 청각적 품질이 향상되며, 이는 이러한 목표를 포함한 표준화된 데이터셋이 필요하다는 것을 시사한다.
• 다중 화자 분리 및 반사 제거 분야에서 비지도 DNN 기법에 여전히 심각한 격차가 존재하며, 노이즈 제거 분야의 진전에도 불구하고 이는 해결되지 않은 과제로 남아 있다.