[논문 리뷰] Accented Speech Recognition: A Survey

Arthur Hinsvark, Natalie Delworth외 10명|arXiv (Cornell University)|2021. 04. 21.

Speech Recognition and Synthesis참고 문헌 38인용 수 15

한 줄 요약

이 종합 검토는 다중 작업 학습, 발음 특징 공학, 모델 적응 기법을 중심으로 발음에 강건한 자동 음성 인식(ASR) 기법의 최신 기술을 검토한다. 일반화 능력을 향상시키기 위해 다양한 발음 간의 일반화 능력을 향상시키기 위한 기법을 다루며, 데이터 부족, 표준 기준 평가 부족, 새로운 발음에 대한 성능 열악함 등의 주요 과제를 규명한다. 한편, 단일 모델의 일반화 능력 향상과 발음 임베딩, 적대적 훈련 등의 기법에서의 진전도 강조한다.

ABSTRACT

Automatic Speech Recognition (ASR) systems generalize poorly on accented speech. The phonetic and linguistic variability of accents present hard challenges for ASR systems today in both data collection and modeling strategies. The resulting bias in ASR performance across accents comes at a cost to both users and providers of ASR. We present a survey of current promising approaches to accented speech recognition and highlight the key challenges in the space. Approaches mostly focus on single model generalization and accent feature engineering. Among the challenges, lack of a standard benchmark makes research and comparison especially difficult.

연구 동기 및 목표

• 발음의 음소적·언어학적 다양성으로 인해 ASR 시스템의 일반화 능력이 열악한 문제를 해결하기 위해.
• 표준 기준 평가 부족과 데이터 부족이 발음 음성 인식 연구의 진전을 가로막는 주요 장애물임을 규명하기 위해.
• 다양한 발음 간의 모델 일반화 능력을 향상시키기 위한 기법을 탐색하기 위해, 다중 작업 학습, 특징 공학, 모델 적응 기법을 포함하여.
• 새로운 발음을 다루는 제로샷 적응의 가능성을 검토하고, 현재 기법들이 수백 가지의 방언으로까지 확장 가능한지 조사하기 위해.
• 영어 중심의 발음에 강건한 기법이 고방언 다양성이 높은 다른 언어로의 이식 가능성 여부를 검토하기 위해.

제안 방법

• 다중 작업 학습을 활용하여 보조 발음 분류 작업을 도입함으로써 다양한 발음 간의 일반화 능력을 향상시키기 위해.
• 엔드 투 엔드 ASR 모델에 발음 임베딩과 특수 발음 토큰을 통합하여 발음 변동을 명시적으로 모델링하기 위해.
• 적대적 훈련과 특징 추출을 통해 발음에 영향을 받지 않는 표현을 학습하기 위해.
• 저자원 발음에 대한 데이터 효율성을 향상시키기 위해 속도 변형 등의 데이터 증강 기법을 적용하기 위해.
• 상용 ASR 모델과 발음에 맞게 조정된 현지 모델을 조합하는 하이브리드 시스템인 FineMerge를 활용하여 WER를 감소시키기 위해.
• 제한된 태깅된 발음 데이터를 바탕으로 반감독 및 자기지도 학습 기법을 활용하여 성능을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 발음 분류를 보조 작업으로 삼는 다중 작업 학습이 발음 음성 인식에서 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ2 엔드 투 엔드 모델에 특수 발음 토큰을 삽입함으로써 발음 임베딩이 다양한 발음 간의 강건성에 얼마나 기여하는가?
• RQ3 현재 기법들이 새로운 발음이나 저자원 발음 처리에 있어 어떤 한계를 지니는가?
• RQ4 데이터 부족과 표준 기준 평가 부족이 발음 음성 인식 연구의 진전을 어떻게 저해하는가?
• RQ5 발음에 영향을 받지 않는 표현 또는 메타학습 기법이 새로운 발음에 대해 효과적인 제로샷 적응을 가능하게 할 수 있는가?

주요 결과

• 발음 분류를 보조 작업으로 삼는 다중 작업 학습은, 특히 발음 정보를 추출하는 초기 네트워크 레이어를 활용할 경우 모델의 일반화 능력을 향상시킨다.
• 엔드 투 엔드 모델의 태깅된 시퀀스 끝에 특수 발음 토큰을 삽입하는 것이, 트레이드오프 하이퍼파라미터를 튜닝하는 것보다 더 뛰어난 성능을 달성한다.
• 발음 임베딩과 다중 작업 학습을 조합한 기법이 특징 공학 기법 중에서 가장 뛰어난 성능을 보였다.
• FineMerge 알고리즘은 상용 ASR 모델과 발음에 맞춰 조정된 현지 모델을 조합함으로써 WER를 상대적으로 17–28% 감소시켰다.
• 현재 기준 평가 데이터셋은 극도로 불균형하게 구성되어 있으며, 주로 미국, 인도, 영국 영어가 지배적이어서 글로벌 일반화 능력을 제한한다.
• 현재까지 개발된 어떤 방법도 새로운 발음에 대한 완전한 제로샷 적응을 해결하지 못하고 있어, 이 분야에서 여전히 중요한 열린 과제로 남아 있다.