[논문 리뷰] Universal Phone Recognition with a Multilingual Allophone System

Xinjian Li, Siddharth Dalmia외 9명|arXiv (Cornell University)|2020. 02. 26.

Speech Recognition and Synthesis참고 문헌 25인용 수 7

한 줄 요약

이 논문은 다국어 음성 모델인 Allosaurus를 제안하며, 음소(언어에 종속된 음소)와 음운(언어에 독립적인 음운)을 함께 모델링하기 위해 음소층을 사용하여 음운을 음소로 매핑한다. 음운 지식과 통합 음운 목록을 활용함으로써, 자원이 적은 환경에서 다국어 음성 인식 성능을 2.0%p 향상시키고, 거의 전 세계적인 음운 인식을 가능하게 하여, Inuktitut와 Tusom과 같은 새로운 자국어 언어에서 음운 정확도를 평균 17% 향상시킨다. PHOIBLE 데이터베이스 통합을 통해 달성된다.

ABSTRACT

Multilingual models can improve language processing, particularly for low resource situations, by sharing parameters across languages. Multilingual acoustic models, however, generally ignore the difference between phonemes (sounds that can support lexical contrasts in a particular language) and their corresponding phones (the sounds that are actually spoken, which are language independent). This can lead to performance degradation when combining a variety of training languages, as identically annotated phonemes can actually correspond to several different underlying phonetic realizations. In this work, we propose a joint model of both language-independent phone and language-dependent phoneme distributions. In multilingual ASR experiments over 11 languages, we find that this model improves testing performance by 2% phoneme error rate absolute in low-resource conditions. Additionally, because we are explicitly modeling language-independent phones, we can build a (nearly-)universal phone recognizer that, when combined with the PHOIBLE large, manually curated database of phone inventories, can be customized into 2,000 language dependent recognizers. Experiments on two low-resourced indigenous languages, Inuktitut and Tusom, show that our recognizer achieves phone accuracy improvements of more than 17%, moving a step closer to speech recognition for all languages in the world.

연구 동기 및 목표

• 다국어 음성 인식에서 음소(언어에 특화된 대조)와 음운(실제로 발화되는 소리) 간의 불일치 문제를 해결함으로써, 다양한 언어를 통합할 때 성능 저하를 방지하기 위함.
• 공통된 언어에 독립적인 음운 표현 방식을 통해 다국어 음운 지식을 활용하여 자원이 적은 언어의 음성 인식 성능을 향상시키기 위함.
• PHOIBLE와 같은 대규모 정제된 음운 목록을 사용하여 언어에 특화된 학습 데이터 없이도 어떤 언어에 대해서도 맞춤형으로 설정 가능한 전 세계 음운 인식을 가능하게 하기 위함.
• 기존의 공통 음소 및 전용 음소 모델의 한계를 극복하기 위해 음소를 명시적으로 모델링함으로써, 다양한 언어 간에 세밀한 음운 차이를 유지하기 위함.

제안 방법

• 언어학적으로 유의미한 음소 목록을 사용하여, 통합된 좁은 음운 집합(예: [p], [pʰ])을 언어에 특화된 음소(예: /p/)로 매핑하는 음소층을 도입함.
• 표준 음소 표기법과 사전 정의된 음소 매핑만을 사용하여 모델을 엔드 투 엔드로 훈련시키며, 음운 전문가가 표기한 데이터로 초기화하고 훈련 중에 미세조정함.
• 11개 언어의 음운을 융합하여 통합 음운 목록을 구성함으로써, 187개의 고유 음운을 확보하여 전 세계 인식을 지원함.
• PHOIBLE 데이터베이스를 통합하여 통합 인식기를 어떤 언어에 대해서도 맞춤형으로 설정함으로써, 언어에 특화된 음운 목록을 제공함.
• 모델을 사용하여 음성을 직접 음운으로 디코딩함으로써, 훈련 중에 볼 수 없었던 언어에서도 세밀한 음운 차이를 인식할 수 있도록 함.
• Inuktitut와 Tusom과 같은 자원이 적은 언어에 대해 PHOIBLE의 언어에 특화된 목록과 결합하여 모델을 적용함으로써, 음운 오류율을 크게 감소시킴.

실험 결과

연구 질문

• RQ1 음운과 음소의 차이를 명시적으로 모델링하는 다국어 음성 인식 모델이 자원이 적은 언어의 음성 인식 성능을 향상시킬 수 있는가?
• RQ2 음운과 음소 간의 음소 수준 매핑을 통합하면, 기존의 공통 또는 전용 음소 모델보다 성능이 향상되는가?
• RQ3 언어에 특화된 학습 데이터 없이도 단일 모델이 다양한 언어에서 거의 전 세계적인 음운 인식을 달성할 수 있는가?
• RQ4 PHOIBLE와 같은 외부 음운학 데이터베이스를 사용하여 새로운 언어에 맞춤형으로 설정된 전 세계 음운 인식기가 얼마나 효과적인가?
• RQ5 기존의 다국어 접근 방식과 비교해 볼 때, 모델은 볼 수 없었던 자원이 적은 자국어 언어에서 어떻게 성능을 내는가?

주요 결과

• Allosaurus 모델은 공통 음소 모델 대비 자원이 적은 환경에서 다국어 음성 인식 성능을 2.0%p 향상시켰다.
• Inuktitut에서 84.1%의 음운 오류율, Tusom에서 77.3%의 음운 오류율을 기록하여, 기준 모델이 85%를 초과하는 것에 비해 뚜렷한 향상이 있었다.
• PHOIBLE 데이터베이스와 통합했을 때, Inuktitut의 음운 오류율은 73.1%로, Tusom은 64.2%로 감소하여 평균 성능에서 17% 향상되었다.
• 영어에서 동일한 음소 /p/에 대해 [pʰ]와 [p]를 명확히 구분함으로써, 모델이 세밀한 음운 차이를 학습할 수 있음을 입증했다.
• 통합 음운 목록은 PHOIBLE의 언어 평균 82%를 커버하며, 표준편차 12.8%로 지리적 지역 간 일관성 있는 커버리지가 확보되었다.
• PHOIBLE의 언어에 특화된 목록을 사용할 경우 유사 음운(예: [e]와 [i]) 간의 교환 오류가 감소하여, 음운학적 제약 조건이 모호한 음운 예측을 해결하는 데 도움이 된다는 것을 보여주었다.