[논문 리뷰] Improving End-To-End Modeling for Mispronunciation Detection with Effective Augmentation Mechanisms

Tien-Hong Lo, Yao‐Ting Sung외 1명|arXiv (Cornell University)|2021. 10. 17.

Speech Recognition and Synthesis참고 문헌 33인용 수 5

한 줄 요약

이 논문은 사전에 학습된 음성 모델과 기준 전사본으로부터 얻은 음소 및 음운 지식을 활용하여, 종단간(end-to-end, E2E) 오발음 검출(MD) 모델의 성능을 향상시키기 위해 입력 증강과 레이블 증강이라는 두 가지 데이터 증강 전략을 제안한다. L2-ARCTIC 데이터셋에서의 실험 결과, 제안된 E2E 모델은 최신 기술 수준의 E2E MD 모델과 DNN-HMM 기반 베이스라인을 모두 능가하며, 레이블이 부족한 L2 발화 데이터에도 불구하고 더 높은 강인성과 정확도를 보여주었다.

ABSTRACT

Recently, end-to-end (E2E) models, which allow to take spectral vector sequences of L2 (second-language) learners' utterances as input and produce the corresponding phone-level sequences as output, have attracted much research attention in developing mispronunciation detection (MD) systems. However, due to the lack of sufficient labeled speech data of L2 speakers for model estimation, E2E MD models are prone to overfitting in relation to conventional ones that are built on DNN-HMM acoustic models. To alleviate this critical issue, we in this paper propose two modeling strategies to enhance the discrimination capability of E2E MD models, each of which can implicitly leverage the phonetic and phonological traits encoded in a pretrained acoustic model and contained within reference transcripts of the training data, respectively. The first one is input augmentation, which aims to distill knowledge about phonetic discrimination from a DNN-HMM acoustic model. The second one is label augmentation, which manages to capture more phonological patterns from the transcripts of training data. A series of empirical experiments conducted on the L2-ARCTIC English dataset seem to confirm the efficacy of our E2E MD model when compared to some top-of-the-line E2E MD models and a classic pronunciation-scoring based method built on a DNN-HMM acoustic model.

연구 동기 및 목표

• 부족한 레이블이 부여된 L2 발화 데이터로 인해 발생하는 과적합 문제를 해결하기 위해 종단간(E2E) 오발음 검출(MD) 모델의 성능을 향상시키는 것.
• 기존 모델과 전사본으로부터 유도된 음소 및 음운 패턴을 암묵적으로 활용하여 E2E MD 모델의 구분 능력을 향상시키는 것.
• 추가적인 레이블 데이터가 필요 없이도 모델의 일반화 능력을 향상시키는 효과적인 데이터 증강 기법을 개발하는 것.
• 표준 벤치마크 데이터셋(L2-ARCTIC 영어)에서 제안된 증강 전략의 효과성을 검증하는 것.

제안 방법

• 입력 증강은 사전에 학습된 DNN-HMM 음성 모델로부터 유도된 음소 구분 지식을 활용하여, 학습된 변형을 적용해 입력 스펙트럼 시퀀스를 변형함으로써 구현된다.
• 레이블 증강은 기준 전사본으로부터 유도된 음운 패턴을 반영한 합성 음소 수준의 레이블을 생성함으로써 훈련을 향상시킨다.
• E2E 모델은 증강된 입력과 레이블 데이터를 동시에 사용하여 종단간으로 훈련되며, 발음 변형에 대한 강인성이 향상된다.
• 사전에 학습된 음성 모델의 미세조정이 필요 없어, 효율성과 기존 E2E 프레임워크와의 호환성을 유지한다.
• 증강은 훈련 기간 동안만 적용되며, 추론 또는 모델 아키텍처에 대한 변경 사항이 없다.
• 이 방법은 DNN-HMM 모델과 전사본의 구조로부터 암묵적으로 지식을 전이함으로써 E2E MD 시스템에 통합된다.

실험 결과

연구 질문

• RQ1 DNN-HMM 음성 모델에서 파생된 입력 수준의 데이터 증강 전략이 E2E MD 모델의 음소 구분 능력을 향상시킬 수 있는가?
• RQ2 기준 전사본 기반의 레이블 수준의 데이터 증강 전략이 L2 발화에서의 음운 패턴을 모델이 더 잘 포착할 수 있도록 도와주는가?
• RQ3 두 증강 전략을 병합했을 때, 기존의 E2E 또는 DNN-HMM 기반 MD 시스템보다 성능이 향상되는가?
• RQ4 제한된 L2 발화 데이터에서 일반화 능력과 강인성 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 입력 증강과 레이블 증강을 모두 적용한 제안된 E2E MD 모델은 L2-ARCTIC 영어 데이터셋에서 최신 기술 수준의 E2E MD 모델보다 뛰어난 성능을 기록했다.
• 전통적인 DNN-HMM 기반 발음 평가 방법보다도 모델 성능이 뛰어나, 효과적인 증강 전략을 통한 종단간 학습의 우수성을 입증했다.
• 입력 증강만으로도 DNN-HMM 모델로부터 유도된 음소 지식을 활용하여 모델의 구분 능력이 향상됨을 확인했다.
• 레이블 증강은 L2 발화에서의 음운적 변형에 대한 모델의 일반화 능력을 향상시켰다.
• 두 증강 전략의 조합이 가장 뛰어난 종합 성능을 보였으며, 이는 두 전략이 상호 보완적임을 확인시켰다.