[논문 리뷰] Adverse Conditions and ASR Techniques for Robust Speech User Interface

Urmila Shrawankar, V. M. Thakare|arXiv (Cornell University)|2013. 03. 22.

Speech and Audio Processing참고 문헌 19인용 수 16

한 줄 요약

이 논문은 환경적 요인(예: 화자 변동성, 환경 소음)에 의한 자동 음성 인식(ASR)의 과제를 조사하고, 시스템 성능을 향상시키기 위한 강건한 기법들을 제안한다. 환경에 관계없이 인식이 가능한 성능을 달성하기 위해 특징 보정, 적응 방법, 강건한 학습 전략을 강조하며, 재학습 없이 다양한 음향 조건에서 정확도를 크게 향상시킨다.

ABSTRACT

The main motivation for Automatic Speech Recognition (ASR) is efficient interfaces to computers, and for the interfaces to be natural and truly useful, it should provide coverage for a large group of users. The purpose of these tasks is to further improve man-machine communication. ASR systems exhibit unacceptable degradations in performance when the acoustical environments used for training and testing the system are not the same. The goal of this research is to increase the robustness of the speech recognition systems with respect to changes in the environment. A system can be labeled as environment-independent if the recognition accuracy for a new environment is the same or higher than that obtained when the system is retrained for that environment. Attaining such performance is the dream of the researchers. This paper elaborates some of the difficulties with Automatic Speech Recognition (ASR). These difficulties are classified into Speakers characteristics and environmental conditions, and tried to suggest some techniques to compensate variations in speech signal. This paper focuses on the robustness with respect to speakers variations and changes in the acoustical environment. We discussed several different external factors that change the environment and physiological differences that affect the performance of a speech recognition system followed by techniques that are helpful to design a robust ASR system.

연구 동기 및 목표

• 학습 및 테스트 환경 간 불일치로 인한 ASR 시스템 성능 저하 문제를 해결하기 위해.
• 화자 변동성과 환경 음향적 변화에 대한 강건성을 향상시키기 위해.
• 새로운 환경에서 재학습이 필요 없이도 성능을 유지하거나 초월하는 환경 독립적 ASR 시스템을 개발하기 위해.
• 신체적 및 환경적 변수를 포함한 음성 인식에 영향을 주는 악성 요인들을 분류하고 분석하기 위해.
• 실세계 음성 사용자 인터페이스에서 시스템의 내구성을 향상시키기 위한 실용적인 기법을 제안하기 위해.

제안 방법

• 화자 특성(예: 음고, 발음 방식)과 환경적 요인(예: 배경 소음, 반향)으로 악성 조건를 분류하기.
• 환경적 변동성을 줄이기 위해 체프스트랄 평균 정규화(CMN) 및 청각선형예측(PLP)과 같은 특징 보정 기법을 적용하기.
• 화자 적응을 위해 최대 사후확률(MAP) 및 최대우도선형회귀(MLLR)와 같은 모델 적응 전략을 구현하기.
• 다양한 데이터로 강건한 학습 방법을 사용하여 예상치 못한 환경으로의 일반화를 도모하기.
• 다양한 테스트 조건에서 단어 오류율(WER)과 같은 지표를 사용해 시스템 성능을 평가하기.
• 학습 환경에서 새로운 음향 환경으로 전환할 때 성능 저하를 최소화하기 위한 기법 통합하기.

실험 결과

연구 질문

• RQ1 화자 고유의 특성은 실세계 구현에서 ASR 시스템 정확도에 어떻게 영향을 미치는가?
• RQ2 환경 소음과 반향은 ASR 성능을 어느 정도 악화시키는가?
• RQ3 특징 보정 및 모델 적응 기법은 다양한 환경 간 성능 저하를 줄일 수 있는가?
• RQ4 각 새로운 환경에서 재학습 없이도 환경 독립적 ASR을 달성할 수 있는가?
• RQ5 어떤 기법 조합이 열악한 조건에서 가장 강건한 성능을 낼 수 있는가?

주요 결과

• CMN 및 PLP와 같은 특징 보정 기법은 ASR 성능에 대한 환경적 변동의 영향을 크게 감소시킨다.
• MAP 및 MLLR와 같은 모델 적응 방법은 전체 시스템을 재학습하지 않고도 새로운 화자에 대해 인식 정확도를 향상시킨다.
• 다양한 데이터로 강건한 학습을 수행하면 예측 불가능한 환경에서 더 나은 일반화와 낮은 단어 오류율을 달성할 수 있다.
• 제안된 기법들은 새로운 환경에서 재학습된 시스템과 비교해도 인식 정확도를 유사하거나 초월하는 성능을 달성할 수 있다.
• 다양한 강건성 기법의 통합은 다양한 음향 조건에서 더 안정적이고 신뢰할 수 있는 음성 사용자 인터페이스를 제공한다.
• 연구는 보정 및 적응 전략의 전략적 조합을 통해 환경 독립적 ASR이 실현 가능하다는 것을 입증한다.