[논문 리뷰] End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks

Szu‐Wei Fu, Wang, Tao-Wei외 3명|arXiv (Cornell University)|2017. 09. 12.

Speech and Audio Processing참고 문헌 54인용 수 20

한 줄 요약

이 논문은 직접적으로 청각 기반 평가 지표인 STOI를 최적화함으로써 학습 목표와 실제 성능 간 격차를 제거하는 엔드 투 엔드 완전 컨volution 신경망(FCN) 프레임워크를 제안한다. 프레임 수준의 손실이 아닌 문장 수준 최적화를 활용함으로써, 기존의 MMSE 최적화 모델에 비해 향상된 음성 명료성과 ASR 성능을 달성한다.

ABSTRACT

Speech enhancement model is used to map a noisy speech to a clean speech. In the training stage, an objective function is often adopted to optimize the model parameters. However, in most studies, there is an inconsistency between the model optimization criterion and the evaluation criterion on the enhanced speech. For example, in measuring speech intelligibility, most of the evaluation metric is based on a short-time objective intelligibility (STOI) measure, while the frame based minimum mean square error (MMSE) between estimated and clean speech is widely used in optimizing the model. Due to the inconsistency, there is no guarantee that the trained model can provide optimal performance in applications. In this study, we propose an end-to-end utterance-based speech enhancement framework using fully convolutional neural networks (FCN) to reduce the gap between the model optimization and evaluation criterion. Because of the utterance-based optimization, temporal correlation information of long speech segments, or even at the entire utterance level, can be considered when perception-based objective functions are used for the direct optimization. As an example, we implement the proposed FCN enhancement framework to optimize the STOI measure. Experimental results show that the STOI of test speech is better than conventional MMSE-optimized speech due to the consistency between the training and evaluation target. Moreover, by integrating the STOI in model optimization, the intelligibility of human subjects and automatic speech recognition (ASR) system on the enhanced speech is also substantially improved compared to those generated by the MMSE criterion.

연구 동기 및 목표

• 음성 강화에서 모델 최적화 기준(예: MMSE)과 청각 기반 평가 지표(예: STOI) 사이의 일관성 부족 문제를 해결하기 위해.
• 학습 목표를 최종 평가 지표와 일치시킴으로써 음성 명료성과 자동 음성 인식(ASR) 성능을 향상시키기 위해.
• 개별 프레임이 아닌 전체 문장을 최적화하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• FCN 기반 STOI 직접 최적화가 객관적 및 주관적 음성 품질에 측정 가능한 향상을 이끌어내는지 입증하기 위해.
• 문장 기반 최적화가 음성 인식 및 청각 시스템의 성능 향상에 효과적인지 검증하기 위해.

제안 방법

• 프레임 수준 처리를 피하기 위해 원시 웨이브포맷 입력을 엔드 투 엔드로 처리하는 완전 컨볼루션 신경망(FCN)을 활용한다.
• 프레임 수준의 MMSE 손실을 사용하는 대신, 전체 문장 수준에서 단기 목표 명료성(STOI) 지표를 직접 최적화한다.
• 평가 함수를 통해 미분 가능한 근사치를 통해 STOI 지표를 미분 가능하게 만들며, 역전파를 가능하게 한다.
• 강화된 음성과 청소음성 간의 STOI를 최대화하는 손실 함수를 사용하여 장기적인 시간적 상관관계를 포착한다.
• 자기회귀적 동작을 보장하고 파형 내 시간 순서를 유지하기 위해 인과적 컨볼루션을 사용한다.
• 음성 강화와 명료성 최적화를 동시에 수행할 수 있도록 하며, 학습을 청각 기반 평가와 직접적으로 일치시킨다.

실험 결과

연구 질문

• RQ1 학습 중 STOI 지표를 직접 최적화하면 기존의 MMSE 기반 학습에 비해 음성 강화 성능이 향상되는가?
• RQ2 문장 수준 최적화가 프레임 수준 최적화보다 인간 청취자와 ASR 시스템의 명료성 향상에 기여하는가?
• RQ3 학습 목표를 평가 지표와 일치시킴으로써 모델 성능과 실제 응용 요구사항 간 격차를 어느 정도 줄일 수 있는가?
• RQ4 기본적인 MMSE 최적화 모델에 비해 제안된 FCN 기반 프레임워크는 STOI, 명료성, ASR 정확도 측면에서 어떻게 비교되는가?
• RQ5 미분 가능한 STOI가 엔드 투 엔드 음성 강화 시스템에서 학습 목표로 효과적으로 사용될 수 있는가?

주요 결과

• 제안된 STOI 최적화 모델은 기존의 MMSE 최적화 기반 모델에 비해 테스트 세트에서 유의미하게 높은 STOI 점수를 달성했다.
• 인간 청취자들은 STOI 최적화 모델이 강화한 음성을 MMSE 최적화 모델에 비해 더 명료하게 평가했다.
• 자동 음성 인식(ASR) 시스템은 STOI 최적화 모델이 강화한 음성을 인식할 때 단어 오류률(WER)에서 상당한 향상을 보였다.
• 문장 수준 최적화로 인해 장기적인 시간적 상관관계가 유지되어 보다 자연스럽고 명료한 음성 출력이 도출되었다.
• 미분 가능한 근사치를 통한 STOI 직접 최적화로 인해 효과적인 역전파와 안정적인 학습이 가능했다.
• 결과적으로, 학습 목표를 청각 기반 지표와 일치시킴으로써 객관적 및 주관적 성능 향상이 측정 가능한 수준으로 이루어짐을 입증했다.