[논문 리뷰] Improving Non-native Word-level Pronunciation Scoring with Phone-level Mixup Data Augmentation and Multi-source Information

Kaiqi Fu, Shaojun Gao외 4명|arXiv (Cornell University)|2022. 03. 01.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 저자원 환경에서 비모국어 단어 수준 발음 평가 성능을 햖थ기 위해 전화 수준의 믹스업 데이터 증강 기법을 제안한다. 학습 데이터로부터 전화 수준의 특징과 GOP 점수를 조합하여 다양한 발음 점수를 가진 합성 단어를 생성함으로써 모델의 일반화 능력을 향상시킨다. Speechocean762에서의 실험 결과, 피어슨 상관계수(PCC)가 0.610으로 0.043 향상되었으며, 실제 레이블이 없는 데이터의 1/10만을 사용하여 기존 베이스라인을 능가했다.

ABSTRACT

Deep learning-based pronunciation scoring models highly rely on the availability of the annotated non-native data, which is costly and has scalability issues. To deal with the data scarcity problem, data augmentation is commonly used for model pretraining. In this paper, we propose a phone-level mixup, a simple yet effective data augmentation method, to improve the performance of word-level pronunciation scoring. Specifically, given a phoneme sequence from lexicon, the artificial augmented word sample can be generated by randomly sampling from the corresponding phone-level features in training data, while the word score is the average of their GOP scores. Benefit from the arbitrary phone-level combination, the mixup is able to generate any word with various pronunciation scores. Moreover, we utilize multi-source information (e.g., MFCC and deep features) to further improve the scoring system performance. The experiments conducted on the Speechocean762 show that the proposed system outperforms the baseline by adding the mixup data for pretraining, with Pearson correlation coefficients (PCC) increasing from 0.567 to 0.61. The results also indicate that proposed method achieves similar performance by using 1/10 unlabeled data of baseline. In addition, the experimental results also demonstrate the efficiency of our proposed multi-source approach.

연구 동기 및 목표

• 단어 수준의 비모국어 발음 평가를 위한(annotation된) 비모국어 음성 데이터가 제한적인 문제를 해결한다.
• 레이블이 부족하고 수집 비용이 높은 저자원 환경에서 모델의 일반화 능력을 향상시킨다.
• 단어 수준에서 다양한 실제와 유사한 발음 변형을 생성할 수 있는 데이터 증강 방법을 개발한다.
• MFCC와 딥 특징 등의 다중 소스 특징이 발음 평가 성능 향상에 기여하는지 조사한다.
• 레이블이 제한된 상황에서 믹스업을 통한 합성 데이터가 실제 데이터와 유사하거나 이를 초월하는 성능을 낼 수 있는지 입증한다.

제안 방법

• 전화 수준의 믹스업 기법 제안: 각 단어에 대해 학습 데이터에서 전화 수준의 특징과 GOP 점수를 무작위로 샘플링하여 새로운 단어 수준의 샘플을 합성한다.
• 기존 학습 데이터로부터 전화 수준의 특징과 GOP 점수 풀을 구성하여, 다양한 전화 조합으로 새로운 단어를 형성할 수 있도록 한다.
• 각 증강된 단어의 발음 점수로 구성 전화의 평균 GOP 점수를 사용한다.
• MFCC와 딥 음성 특징을 다중 소스 입력으로 조합하여 발음 평가자 모델의 구분 능력을 향상시킨다.
• 실제 레이블이 없는 데이터와 믹스업으로 생성된 합성 데이터의 조합을 사용해 발음 평가자 모델을 사전 학습함으로써 일반화 능력을 향상시킨다.
• 예측 점수와 인간 레이블 점수 간 피어슨 상관계수(PCC)를 평가 지표로 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 전화 수준의 믹스업 데이터 증강 기법이 저자원 환경에서 단어 수준의 발음 평가 성능을 향상시킬 수 있는가?
• RQ2 데이터 크기가 제한된 상황에서 제안된 방법의 성능이 실제 레이블이 없는 데이터를 사용한 기존 베이스라인과 비교해 어떻게 되는가?
• RQ3 MFCC와 딥 특징을 조합한 다중 소스 입력이 단일 특징을 사용할 경우보다 더 나은 발음 평가 성능을 낼 수 있는가?
• RQ4 과적합을 방지하면서 성능을 최대화하기 위해 필요한 최적의 증강 데이터 양은 얼마인가?
• RQ5 실제 데이터 크기를 10배로 늘렸을 때, 믹스업로 생성된 합성 데이터가 실제 데이터와 유사한 성능을 낼 수 있는가?

주요 결과

• 제안된 믹스업 기법으로 피어슨 상관계수(PCC)가 베이스라인의 0.567에서 0.610으로 유의미한 향상(0.043 증가)을 이뤘다.
• 실제 레이블이 없는 데이터 50,000개와 믹스업으로 생성된 450,000개의 합성 데이터(총 500,000개)만을 사용해도 PCC가 0.610을 달성하였으며, 실제 데이터 500,000개로 사전 학습한 베이스라인을 능가했다.
• 믹스업 사전 학습을 통해 실제 데이터를 10배 더 많이 사용한 베이스라인과 유사한 성능을 달성하여 데이터 효율성을 입증했다.
• MFCC와 딥 특징을 조합한 다중 소스 입력이 가장 높은 성능을 보였으며, 이는 상호 보완적인 정보의 유용성을 시사한다.
• 증강 샘플 수가 500,000개를 초과하면 성능이 정체되며, 이는 이 이상의 데이터 양에서는 수익 감소 효과가 나타남을 시사한다.
• 딥 특징만으로도 MFCC보다 뛰어난 성능을 보였으며, 두 특징의 조합이 성능을 더욱 향상시켜 상호 보완적 성질을 확인했다.