[논문 리뷰] AccentDB: A Database of Non-Native English Accents to Assist Neural Speech Recognition

Afroz Ahamad, Ankit Anand외 1명|arXiv (Cornell University)|2020. 05. 16.

Speech Recognition and Synthesis참고 문헌 7인용 수 9

한 줄 요약

AccentDB는 신경망 기반 음성 인식 성능 향상을 위해 비모국어인 인도 영어 발음의 정제된 데이터베이스를 제공한다. 이는 자동에코더 모델을 통해 발음 분류 및 중립화를 가능하게 하며, 비모국어 발음을 모국어 발음으로 변환하는 데 95% 이상의 정확도를 달성하여 비모국어 음성에 대한 음성 인식 시스템의 강인성을 크게 향상시킨다.

ABSTRACT

Modern Automatic Speech Recognition (ASR) technology has evolved to identify the speech spoken by native speakers of a language very well. However, identification of the speech spoken by non-native speakers continues to be a major challenge for it. In this work, we first spell out the key requirements for creating a well-curated database of speech samples in non-native accents for training and testing robust ASR systems. We then introduce AccentDB, one such database that contains samples of 4 Indian-English accents collected by us, and a compilation of samples from 4 native-English, and a metropolitan Indian-English accent. We also present an analysis on separability of the collected accent data. Further, we present several accent classification models and evaluate them thoroughly against human-labelled accent classes. We test the generalization of our classifier models in a variety of setups of seen and unseen data. Finally, we introduce the task of accent neutralization of non-native accents to native accents using autoencoder models with task-specific architectures. Thus, our work aims to aid ASR systems at every stage of development with a database for training, classification models for feature augmentation, and neutralization systems for acoustic transformations of non-native accents of English.

연구 동기 및 목표

• 현실 세계의 응용에서 성능을 제한하는 비모국어 영어 발음 문제를 해결하기 위해.
• 훈련 및 평가를 위한 비모국어 인도 영어 발음과 모국어 발음을 짝지은 정제된 평행 데이터베이스를 개발하기 위해.
• 보이는 및 보이지 않는 발음 유형에 일반화되는 발음 분류 모델을 설계하고 평가하기 위해.
• 특수 작업에 최적화된 자동에코더 아키텍처를 사용하여 비모국어 발음을 모국어 유사 음성으로 변환하는 발음 중립화 프레임워크를 도입하기 위해.
• 데이터 증강, 발음 식별, 음성 특성 변환을 통해 종단간 ASR 시스템의 전반적 향상을 가능하게 하기 위해.

제안 방법

• 표준화된 내용과 균일한 녹음 조건을 갖춘 평행 데이터베이스인 AccentDB에 4종의 인도 영어 발음과 5종의 모국어 영어 발음을 수집하였다.
• 다단계 접근 방식을 설계하였다: (1) MFCC 특징에 기반한 CNN을 이용한 발음 분류, (2) 해석 가능성 향상을 위한 주의 기반 분석, (3) 스킵 연결을 포함한 자동에코더 기반의 발음 중립화.
• 다양한 발음 쌍 간의 공동 학습을 가능하게 하기 위해 입력 MFCC에 원-핫 인코딩된 목표 발음 레이블을 접두어로 붙여 다중 소스, 다중 목표 발음 중립화 모델을 구현하였다.
• 스킵 연결을 갖춘 컨볼루션 및 LSTM 자동에코더를 훈련시켜 층 간에 목표 발음 정보를 유지함으로써 효과적인 특징 수준의 변환을 가능하게 하였다.
• 목표 발음 레이블을 입력 조건 벡터로 통합하여 제로샷 유사 설정을 구현함으로써 단일 모델이 여러 소스-목표 발음 조합을 처리할 수 있도록 하였다.
• 분류 정확도와 재구성 정밀도를 평가 지표로 사용하였으며, 이중 및 다발음 설정에서의 분석을 실시하였다.

실험 결과

연구 질문

• RQ1 정제된 평행 비모국어 및 모국어 영어 발음 데이터베이스가 신경망 기반 ASR 시스템의 강인성을 향상시킬 수 있는가?
• RQ2 발음 분류 모델은 보이는 및 보이지 않는 비모국어 발음 유형에 대해 얼마나 잘 일반화되는가?
• RQ3 자기에코더 기반 모델이 비모국어 발음을 모국어 유사 음성으로 중립화하는 데 얼마나 효과적인가, 동시에 의미 정보는 유지되는가?
• RQ4 목표 발음 레이블을 조건으로 삼아 단일 통합 모델이 다중 소스, 다중 목표 발음 중립화를 수행할 수 있는가?
• RQ5 분류 모델의 주의 메커니즘이 발음 특유의 음성적 특징과 어떻게 연관되는가?

주요 결과

• AccentDB 데이터베이스는 다양한 인도 영어 발음을 성공적으로 캡처하였으며, 발음 인식에 특화된 ASR 시스템의 고품질 훈련 및 평가를 가능하게 하였다.
• 발음 분류 모델은 이중 중립화 작업에서 95% 이상의 정확도를 달성하였으며, 최고의 모델은 웨일즈 발음에서 97.27%, 올리아 발음에서 93.11%의 정확도를 기록하였다.
• 자기에코더 기반의 발음 중립화 모델은 모든 8개 실험에서 비모국어 발음을 모국어 발음으로 변환하는 데 95% 이상의 분류 정확도를 달성하였다.
• 역방향(모국어 → 비모국어)에서도 85% 이상의 정확도를 기록하여 이중 방향 변환 능력을 입증하였다.
• 레이블 조건 입력을 갖춘 다중 소스, 다중 목표 중립화 모델은 유연한 성능을 보였으며, LSTM 자동에코더와 스킵 연결을 사용한 경우 70.08%의 정확도를 기록하였다.
• 주의 시각화 결과는 발음 특유의 음운학적 특징과 일치하는 의미 있는 프레임 수준의 주의 패턴을 확인하였으며, 이는 모델의 해석 가능성에 기여하였다.