[논문 리뷰] Foreign English Accent Adjustment by Learning Phonetic Patterns

Fedor Kitashov, Elizaveta Svitanko외 1명|arXiv (Cornell University)|2018. 07. 09.

Speech Recognition and Synthesis참고 문헌 12인용 수 9

한 줄 요약

이 논문은 소규모 외래어 발음 데이터셋에서 자동으로 음소 일반화 규칙을 학습하고, CMU 발음 사전의 백만 개 이상의 외래어 변형어를 생성하는 통계적 모델을 제안한다. 이러한 합성 외래어 샘플을 기반으로 시퀀스-투-시퀀스 RNN을 훈련시켜 비모국어 영어 발음 인식 정확도를 59%로 달성하였으며, 수작업으로 유도된 음소 규칙을 인간의 외래어 패턴 주석 없이 효과적으로 모방한다.

ABSTRACT

State-of-the-art automatic speech recognition (ASR) systems struggle with the lack of data for rare accents. For sufficiently large datasets, neural engines tend to outshine statistical models in most natural language processing problems. However, a speech accent remains a challenge for both approaches. Phonologists manually create general rules describing a speaker's accent, but their results remain underutilized. In this paper, we propose a model that automatically retrieves phonological generalizations from a small dataset. This method leverages the difference in pronunciation between a particular dialect and General American English (GAE) and creates new accented samples of words. The proposed model is able to learn all generalizations that previously were manually obtained by phonologists. We use this statistical method to generate a million phonological variations of words from the CMU Pronouncing Dictionary and train a sequence-to-sequence RNN to recognize accented words with 59% accuracy.

연구 동기 및 목표

• 수작업 규칙 생성 없이 제한된 외래어 발음 데이터에서 음소 일반화 규칙를 자동으로 추출하는 것.
• 학습된 음운 패턴을 기반으로 모국어 발음에 적용하여 대규모이고 다양한 외래어 단어 데이터셋을 생성하는 것.
• 합성된 외래어 훈련 데이터를 사용하여 비모국어 발음에 대한 자동 음성 인식(ASR) 성능을 향상시키는 것.
• 시퀀스-투-시퀀스 RNN이 통계적으로 유도된 외래어 패턴을 학습하여 외래어 발음을 효과적으로 수정할 수 있는지 보여주는 것.

제안 방법

• 모델은 외래어 음소 표기법을 일반 미국 영어(GAE) 기준과 비교하여, 음소 수준에서 삽입, 삭제, 치환를 식별하는 통계적 접근을 사용한다.
• 소리 수준의 통계 표를 구성하여, 다양한 외래어 변형에서의 대체, 삽입, 삭제 및 발생 빈도를 추적한다.
• GMU 데이터셋의 169개 IPA 기호를 CMU 사전의 39개 음소로 매핑하는 감소 사전을 구축하여 호환성과 확장성을 확보한다.
• 학습된 음소 일반화 규칙를 CMU 사전 항목에 적용하여 백만 개의 외래어 변형어를 생성한다.
• 양방향 LSTM 인코더와 자동 회귀 디코더를 갖춘 시퀀스-투-시퀀스 RNN을 사용하여 외래어 표기법을 표준 GAE 형태로 변환하도록 훈련한다.
• 모델은 주로 러시아어 영향을 받은 800,000개의 합성 외래어 샘플을 사용하여 훈련되었으며, 배치 크기는 4096, RMSprop 옵timizer를 사용하고 100 에포크 동안 훈련되었다.

실험 결과

연구 질문

• RQ1 소규모 외래어 발음 샘플에서 통계적 모델이 자동으로 음소 일반화 규칙을 학습할 수 있는가?
• RQ2 자동으로 학습된 외래어 패턴이 얼마나 다양한 실제적인 외래어 변형어를 생성할 수 있는가?
• RQ3 합성된 외래어 데이터로 훈련된 시퀀스-투-시퀀스 RNN이 비모국어 발음을 높은 정확도로 인식할 수 있는가?
• RQ4 일반화 및 커버리지 측면에서 수작업으로 만든 음소 규칙에 비해 모델의 성능는 어떻게 비교되는가?

주요 결과

• 간소화된 CMU 39음소 표현을 사용해 훈련했을 때, 통계적 모델은 수작업으로 확인된 20개의 음소 일반화 규칙 중 13개를 성공적으로 복원하였다.
• 169개 기호를 포함한 전체 IPA GMU 데이터셋을 사용해 훈련했을 경우, 모델은 수작업으로 확인된 20개의 모든 일반화 규칙을 복원하였으며, 팔라탈라이제이션 및 리트로플렉싱과 같은 복잡한 패턴도 포함되었다.
• 시퀀스-투-시퀀스 RNN은 외래어 음소 표기법을 표준 GAE 형태로 변환하는 데 테스트 정확도 59.3%를 달성하였다.
• 25개 에포크 이후 과적합 현상이 관찰되었으며, 검증 정확도는 정체되었지만 훈련 정확도는 계속 상승함으로써, 과다한 합성 데이터로 인한 노이즈의 영향을 시사하였다.
• 모델의 성능은 데이터 단순화에 민감했다: CMU 사전에서 음운 정보의 손실는 희귀하거나 특정한 외래어 특징을 포착하는 능력을 저하시켰다.