[논문 리뷰] Phoneme-Based Contextualization for Cross-Lingual Speech Recognition in End-to-End Models

Ke Hu, Antoine Bruguier외 3명|arXiv (Cornell University)|2019. 06. 21.

Speech Recognition and Synthesis참고 문헌 22인용 수 7

한 줄 요약

이 논문은 외래 어휘(특히 외국 전문명)의 인식 성능을 햖थ기 위해 단어 조각(wordpieces)과 음소(phonemes)를 모두 사용하는 하이브리드 엔드 투 엔드 ASR 모델을 제안한다. 외국어에서 유사한 영어 음소로의 음소 매핑을 통해 음소 수준에서 문맥적 편향을 적용함으로써, 일반 그래프음 기반 편향 대비 16% 상대적 WER 감소, 단어 조각 기반 편향 대비 8% 향상된 성능을 달성하였으며, 일반 영어 작업에서는 최소한의 성능 저하를 보였다.

ABSTRACT

Contextual automatic speech recognition, i.e., biasing recognition towards a given context (e.g. user's playlists, or contacts), is challenging in end-to-end (E2E) models. Such models maintain a limited number of candidates during beam-search decoding, and have been found to recognize rare named entities poorly. The problem is exacerbated when biasing towards proper nouns in foreign languages, e.g., geographic location names, which are virtually unseen in training and are thus out-of-vocabulary (OOV). While grapheme or wordpiece E2E models might have a difficult time spelling OOV words, phonemes are more acoustically salient and past work has shown that E2E phoneme models can better predict such words. In this work, we propose an E2E model containing both English wordpieces and phonemes in the modeling space, and perform contextual biasing of foreign words at the phoneme level by mapping pronunciations of foreign words into similar English phonemes. In experimental evaluations, we find that the proposed approach performs 16% better than a grapheme-only biasing model, and 8% better than a wordpiece-only biasing model on a foreign place name recognition task, with only slight degradation on regular English tasks.

연구 동기 및 목표

• 엔드 투 엔드 음성 인식에서 저자원 언어의 지리적 이름을 포함한 외래 전문명의 OOV(사전 외 어휘) 문제를 해결하기 위해.
• 희귀 또는 미리 보지 못한 단어에 대해 더 음향적으로 두드러지고 강건한 단위인 음소를 활용하여 엔드 투 엔드 모델의 문맥적 편향을 향상시키기 위해.
• 일반 영어 작업 성능을 유지하면서 외국어 단어 인식 성능을 향상시키기 위해 단어 조각과 음소를 융합한 하이브리드 모델링 공간을 설계하기 위해.
• 외국어의 음소를 목표 언어(영어)의 음소로 매핑한 음소 수준의 FST를 사용하여 재학습 없이도 확장 가능한 교차 언어적 편향을 가능하게 하기 위해.

제안 방법

• 모델은 RNN-T 아키텍처에서 단어 조각-음소 혼합 모델링 공간을 사용하며, 언어 특화 편향을 피하기 위해 오직 미국 영어 데이터로만 훈련된다.
• 희귀 외국어 단어를 음소로 토크나이징하기 위해 어휘 빈도 기반 샘플링 전략을 적용하여 강건성 향상과 정확도 저하 완화를 도모한다.
• 추론 과정에서 외국어 단어는 먼저 본래 언어의 음소로 토크나이징되고, 이전 연구에서 제공된 매핑을 통해 유사한 영어 음소로 변환되어 음소 수준의 FST가 구성된다.
• 편향 FST는 영어 음소 시퀀스를 소비하고 외국어 단어를 출력함으로써, 모델 수정 없이도 범위 탐색에서 음소적으로 타당한 외국어 이름을 우선시할 수 있도록 한다.
• 단어 조각 수준과 음소 수준의 편향 FST를 병렬로 사용하며, 공유된 가중치를 통해 두 단위의 상호보완적 강점을 활용한다.
• 얕은 융합을 통해 컨텍스트 편향 FST의 점수를 E2E 모델 출력에 재평가하고, 가중 조합을 통해 모델 확률과 편향 점수를 통합한다.

실험 결과

연구 질문

• RQ1 그래프음 또는 단어 조각 수준의 편향 대비, 음소 수준의 문맥적 편향이 엔드 투 엔드 ASR 모델에서 OOV 외국 전문명 인식 성능을 향상시키는가?
• RQ2 모델링 공간에 단어 조각과 음소를 융합함으로써 OOV 외국어 단어와 일반 영어 음성 인식 작업 양쪽에서의 성능에 어떤 영향을 미치는가?
• RQ3 편향 단어 수가 증가함에 따라, 특히 외국어 지명에서 음소 유사성으로 인해 인식 정확도에 어떤 영향을 미치는가?
• RQ4 음소 기반 편향이 교차 언어 환경에서 언어 특화 언어 모델이나 외부 재평가 구성 요소의 필요성을 줄이는가?
• RQ5 한 번의 재학습 없이도, 영어로 훈련된 단일 모델이 음소 매핑을 통해 여러 언어의 외국어 단어를 효과적으로 인식할 수 있는가?

주요 결과

• 제안된 단어 조각-음소 모델은 프랑스어 지명 인식 작업에서 그래프음 기반 편향 모델 대비 16% 상대적 WER 감소를 달성하였다.
• 단어 조각 기반 편향 기준선 대비 8% 상대적 WER 향상을 기록하여, OOV 단어에 대해 음소 수준의 편향이 효과적임을 입증하였다.
• 음소 수준 편향에 단어 조각 수준 편향을 추가함으로써 추가로 2% 상대적 WER 감소가 발생하여, 두 방법이 상호보완적임을 보였다.
• 편향 기능을 비활성화했을 때 일반 영어 문장에서 WER가 0.1% 절대적으로만 감소하여, 표준 작업에 대한 부정적 영향이 최소임을 시사하였다.
• 편향 단어 수가 증가함에 따라 음소 유사성으로 인한 접두어의 혼동으로 WER가 급격히 증가하여, 커버리지와 혼동 사이의 상충 관계가 명확히 드러났다.
• 음소 매핑 전략은 모델 재학습 없이도 다른 외국어에 직접 적용 가능하여, 확장 가능한 교차 언어 배포를 지원한다.