[논문 리뷰] Speech Enhancement Using Pitch Detection Approach For Noisy Environment

Rashmi Makhijani, Urmila Shrawankar외 1명|arXiv (Cornell University)|2013. 05. 09.

Speech and Audio Processing참고 문헌 12인용 수 12

한 줄 요약

이 논문은 배경 소음이 제어할 수 없는 환경에서 말의 명료성과 청취자 품질을 향상시키기 위해 피치 검출 기반의 음성 증강 기법을 제안한다. 피치 주기성을 활용해 청소된 음성 성분을 재구성함으로써 신호의 명확도를 높이며, 주관적 평가를 통해 다양한 소음 조건에서 청취자 품질 향상이 뚜렷하게 확인되었다.

ABSTRACT

Acoustical mismatch among training and testing phases degrades outstandingly speech recognition results. This problem has limited the development of real-world nonspecific applications, as testing conditions are highly variant or even unpredictable during the training process. Therefore the background noise has to be removed from the noisy speech signal to increase the signal intelligibility and to reduce the listener fatigue. Enhancement techniques applied, as pre-processing stages; to the systems remarkably improve recognition results. In this paper, a novel approach is used to enhance the perceived quality of the speech signal when the additive noise cannot be directly controlled. Instead of controlling the background noise, we propose to reinforce the speech signal so that it can be heard more clearly in noisy environments. The subjective evaluation shows that the proposed method improves perceptual quality of speech in various noisy environments. As in some cases speaking may be more convenient than typing, even for rapid typists: many mathematical symbols are missing from the keyboard but can be easily spoken and recognized. Therefore, the proposed system can be used in an application designed for mathematical symbol recognition (especially symbols not available on the keyboard) in schools.

연구 동기 및 목표

• 학습 및 테스트 조건 간 음향 불일치로 인한 음성 인식 성능 저하 문제를 해결한다.
• 소음을 제어할 수 없는 예측 불가능한 소음 환경에서 음성 신호 품질을 향상시킨다.
• 음성 인식 시스템 전처리 단계에서 노이즈가 있는 음성 신호를 처리함으로써 청취자 피로를 감소시키고 명료성을 높인다.
• 교육용 수학 기호 인식 도구와 같은 실생활 비특정적 응용 분야에 적용 가능한 강건한 증강 기법을 개발한다.
• 덧셈성 비정상 소음 환경에서 피치 기반 신호 재구성으로 더 명확한 음성 인식을 가능하게 한다.

제안 방법

• 음성 신호의 기본 주파수(F0)를 식별하기 위해 피치 검출을 활용하며, 이는 음성의 주기성 특성을 이용한다.
• 피치 동기화 웨이브폼 재구성 기법을 적용해 음성 고조파를 분리하고 강화하고, 비주기적 노이즈 성분은 억제한다.
• 검출된 피치를 바탕으로 고조파 모델을 구축하여 노이즈가 섞인 입력 신호로부터 청소된 음성 신호를 재구성한다.
• 주파수 영역에서의 필터링 기법을 적용하여 피치 구조를 유지하면서 고조파 구조와 일치하지 않는 노이즈 에너지를 감소시킨다.
• 음성 명료성과 자연스러움을 향상시키는 데 중점을 두어 청취자 인지적 중요도에 따라 성분을 가중치를 부여하는 청취자 중심 가중치 기법을 구현한다.
• 향상된 신호를 후속 음성 인식 또는 음성 전사 시스템의 전처리 단계로 통합한다.

실험 결과

연구 질문

• RQ1 피치 기반 증강 기법은 매우 다양하고 예측 불가능한 소음 환경에서 음성 품질 향상에 효과적으로 기여할 수 있는가?
• RQ2 주관적 품질과 명료성 측면에서 기존의 노이즈 제거 기법과 비교해 본다면, 제안된 방법은 어떤가?
• RQ3 노이즈 특성이 알려져 있지 않거나 비정상적인 경우, 피치 검출이 얼마나 강건한 증강을 가능하게 하는가?
• RQ4 향상된 음성 신호는 교육 현장에서 수학 기호 인식과 같은 실용적 응용에 활용될 수 있는가?
• RQ5 자연스러운 음성 특성을 유지하면서 청취자 피로를 줄일 수 있는가?

주요 결과

• 제안된 피치 검출 기반 증강 기법은 다양한 환경 조건에서 노이즈가 섞인 음성 신호의 주관적 품질을 크게 향상시킨다.
• 주관적 평가 결과, 청취자들은 고소음 상황에서도 향상된 음성을 더 명확하고 자연스럽게 인식했다.
• 이 방법은 음성 성분을 왜곡하지 않으면서 배경 노이즈를 효과적으로 감소시켜, 발음의 정확성과 명료성을 유지한다.
• 학습과 테스트 간 음향 불일치에 강건하여 실생활 배포에 적합하다.
• 향상된 출력은 교실에서 수학 기호 인식과 같은 높은 음성 명료도가 요구되는 응용 분야에서 실용적으로 활용될 수 있다.
• 특히 비정상적인 소음 환경에서 기존의 증강 기법보다 청취자 선호도와 음성 품질 지표에서 뛰어난 성능을 보였다.