[논문 리뷰] A Full Text-Dependent End to End Mispronunciation Detection and Diagnosis with Easy Data Augmentation Techniques

Kaiqi Fu, Jones Lin외 4명|arXiv (Cornell University)|2021. 04. 17.

Natural Language Processing Techniques참고 문헌 16인용 수 26

한 줄 요약

이 논문은 주의(attention)를 이용한 prior 음소 시퀀스를 활용하는 텍스트 의존적 엔드-투-엔드 MD&D 모델을 제안하고, 클래스 불균형 문제를 다루기 위한 세 가지 간단한 데이터 증강 방법을 더해 CNN-RNN-CTC 기반선 대비 TIMIT 및 L2-ARCTIC에서 F-측정치와 PER를 개선했다.

ABSTRACT

Recently, end-to-end mispronunciation detection and diagnosis (MD&D) systems has become a popular alternative to greatly simplify the model-building process of conventional hybrid DNN-HMM systems by representing complicated modules with a single deep network architecture. In this paper, in order to utilize the prior text in the end-to-end structure, we present a novel text-dependent model which is difference with sed-mdd, the model achieves a fully end-to-end system by aligning the audio with the phoneme sequences of the prior text inside the model through the attention mechanism. Moreover, the prior text as input will be a problem of imbalance between positive and negative samples in the phoneme sequence. To alleviate this problem, we propose three simple data augmentation methods, which effectively improve the ability of model to capture mispronounced phonemes. We conduct experiments on L2-ARCTIC, and our best performance improved from 49.29% to 56.08% in F-measure metric compared to the CNN-RNN-CTC model.

연구 동기 및 목표

• 종합적 엔드-투-엔드 MD&D 탐지 및 진단 가능성을 높이기 위해 엔드-투-엔드 프레임워크에서 미리 주어진 텍스트 정보를 활용한다.
• 강제 align이 필요 없이 주의(attention)를 통해 오디오와 이전 음소 시퀀스를 정렬하는 텍스트 의존적 모델을 제안한다.
• 음소 시퀀스에서 양성(미발음)과 음성 음소의 불균형을 해결하기 위한 간단한 데이터 증강 기법들을 도입한다.
• 공개 MD&D 벤치마크에서 CNN-RNN-CTC 기반선 대비 성능 향상을 입증한다.

제안 방법

• 세 가지 모듈로 구성된 아키텍처: 이전 음소 시퀀스용 문장 인코더, 음향 특징용 CNN-RNN 기반의 오디오 인코더, 텍스트와의 정렬을 위한 주의(attention) 디코더.
• 문장 인코더는 Bi-LSTM을 사용하여 이전 텍스트의 음소 임베딩으로부터 키/값을 생성한다.
• 오디오 인코더는 243-dim 특징을 CNN-RNN(두 개의 CNN과 네 개의 Bi-LSTM 층)으로 처리하여 질의(query)를 생성한다.
• 주 attention은 오디오 질의와 텍스트의 키/값을 정렬하여 문맥 벡터를 계산하고, 문맥 및 음향 특징의 결합을 통해 프레임별 확률을 생성한 후 소프트맥스으로 음소 예측치를 도출한다.
• CTC 시간 정렬은 필요하지 않으며, 명시적 시간 라벨링 없이 주의 기반 교차 엔트로피로 학습한다.
• 양성(미발음) 및 음성 샘플의 불균형을 맞추기 위한 세 가지 데이터 증강 기법: Phoneme Set 기반(PS), Vowels/Consonants 세트 기반(VC), Confusing pairs 기반(CP).

실험 결과

연구 질문

• RQ1 텍스트 주의가 적용된 엔드-투-엔드 MD&D 모델이 prior 텍스트 정보를 효과적으로 활용하여 음소 수준의 미발음을 탐지할 수 있는가?
• RQ2 간단한 데이터 증강 전략이 음소 수준의 불균형 하에서 모델의 미발음 탐지 능력을 향상시키는가?
• RQ3 음소-주의(attention) 대 문자-주의 및 기본 CNN-RNN-CTC 모델 간 MD&D 작업에서의 비교 우위는 무엇인가?
• RQ4 제안된 모델이 표준 MD&D 벤치마크(TIMIT 및 L2-ARCTIC)에서 TA, 진단 정확도, F-measure 측면에서 어떤 성능을 보이는가?

주요 결과

• 기준선을 텍스트 의존적 주의로 대체하면 F-measure가 49.29%에서 52.51%로 향상된다.
• 주소(phoneme) 주의와 데이터 증강을 적용하면 최적의 F-measure를 달성하는 구성이 나타나는데, VC=10%일 때 56.08%이다.
• 최적 구성을 사용하면 평균 F-measure 향상을 얻고 높은 True Accept(TA) 비율을 유지한다(예: 최고 구성의 TA가 약 93.06% 수준).
• 데이터 증강은 양성 샘플을 증가시키고 PER를 크게 감소시킨다(증강 수준에 따라 최저 PER가 약 15.58%–16.13%로 나타남).
• 모든 데이터 증강 음소 주의 변형은 TA와 F-measure를 높게 유지하면서, prior 텍스트를 사용할 때 대체 및 삭제 유형의 진단 오류가 현저히 감소한다.
• CNN-RNN-CTC 기반선과 비교하면 음소 주의 모델에 데이터 증강을 적용할 때 평가 지표에서 MD&D 성능이 크게 향상된다.