[논문 리뷰] Speech Dereverberation Based on Integrated Deep and Ensemble Learning.

Wei‐Jen Lee, Syu‐Siang Wang외 4명|arXiv (Cornell University)|2018. 01. 12.

Speech and Audio Processing인용 수 1

한 줄 요약

이 논문은 다양한 음향 환경에 적합한 복수의 독립된 딥 뉴럴 네트워크 모델을 통합하고 통합된 융합 함수를 사용하는 통합 딥 러닝 및 앙상블 학습(IDEL) 프레임워크를 제안한다. 오프라인 단계에서는 각 음향 환경에 맞게 개별 모델을 훈련시키고 최적의 융합 전략을 학습하며, 온라인 단계에서는 입력 음성 구문에 대해 모든 모델을 적용하고 그 출력을 융합하여, 일치 조건과 불일치 조건 모두에서 단일 모델 접근 방식보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

Reverberation, which is generally caused by sound reflections from walls, ceilings, and floors, can result in severe performance degradations of acoustic applications. Due to a complicated combination of attenuation and time-delay effects, the reverberation property is difficult to characterize, and it remains a challenging task to effectively retrieve the anechoic speech signals from reverberation ones. In the present study, we proposed a novel integrated deep and ensemble learning (IDEL) algorithm for speech dereverberation. The IDEL algorithm consists of offline and online phases. In the offline phase, we train multiple dereverberation models, each aiming to precisely dereverb speech signals in a particular acoustic environment; then a unified fusion function is estimated that aims to integrate the information of multiple dereverberation models. In the online phase, an input utterance is first processed by each of the dereverberation models. The outputs of all models are integrated accordingly to generate the final anechoic signal. We evaluated IDEL on designed acoustic environments, including both matched and mismatched conditions of the training and testing data. Experimental results confirm that the proposed IDEL algorithm outperforms single deep-neural-network-based dereverberation model with the same model architecture and training data.

연구 동기 및 목표

• 복잡한 음향 환경에서 리버버버레이션이 음성 품질과 인식 성능을 떨어뜨리는 문제를 해결한다.
• 리버버버레이션 음성 신호에 내재된 시간 지연 및 감쇠 효과를 모델링하는 데 어려움을 극복한다.
• 일치 및 불일치 훈련-테스트 음향 조건 모두에 걸쳐 일반화 가능한 강력한 프레임워크를 개발한다.
• 통합된 융합 메커니즘을 통해 복수의 전문화된 모델을 통합함으로써 단일 딥 뉴럴 네트워크 모델을 향상시킨다.

제안 방법

• 각각 특정 음향 환경에 맞게 조정된 복수의 딥 뉴럴 네트워크 모델을 오프라인 단계에서 훈련시켜 해당 환경에서 신호를 정확히 디레버버레이션한다.
• 오프라인 단계 동안 모든 개별 디레버버레이션 모델의 출력을 최적으로 조합할 수 있는 통합 융합 함수를 추정한다.
• 온라인 단계에서 동일한 입력 음성 구문에 대해 각 훈련된 모델을 별도로 적용하여 복수의 디레버버레이션 출력을 생성한다.
• 학습된 융합 함수를 사용하여 모든 모델의 출력을 융합하여 최종적으로 개선된 애너로픽 음성 신호를 생성한다.
• 모든 개별 모델 간 공정한 비교를 보장하기 위해 동일한 모델 아키텍처를 사용한다.
• 일치(동일한 환경) 및 불일치(다른 환경) 테스트 조건을 포함하는 평가 프로토콜을 설계하여 프레임워크의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 환경에 특화된 복수의 딥 뉴럴 네트워크 모델 앙상블은 단일 모델 대비 음성 디레버버레이션 성능을 향상시킬 수 있는가?
• RQ2 다양한 음향 환경 간의 다양한 모델 출력을 융합하는 데 있어 통합 융합 함수의 효과는 어떠한가?
• RQ3 IDEL 프레임워크는 훈련 및 테스트 조건이 불일치할 경우에도 뛰어난 성능을 유지하는가?
• RQ4 복수의 모델 통합은 디레버버레이션 품질에 영향을 주는 환경 변동성의 영향을 어느 정도 감소시키는가?

주요 결과

• IDEL 알고리즘은 동일한 아키텍처와 훈련 데이터를 사용하는 단일 딥 뉴럴 네트워크 모델보다 일치 및 불일치 음향 조건 모두에서 뛰어난 성능을 발휘한다.
• 다양한 리버버버레이션 환경에서의 강건성과 일반화 능력 향상에 기여하기 위해 환경에 특화된 복수의 모델을 융합함으로써 성능이 향상된다.
• 통합 융합 함수는 개별 모델의 상호보완적 강점을 효과적으로 융합하여 신호 품질이 향상된다.
• 특히 단일 모델이 실패하는 도전적인 불일치 시나리오에서 음성 디레버버레이션 성능 향상에 측정 가능한 성과를 달성한다.