[논문 리뷰] Bytes are All You Need: End-to-End Multilingual Speech Recognition and Synthesis with Bytes

Bo Li, Yu Zhang외 3명|arXiv (Cornell University)|2018. 11. 22.

Speech Recognition and Synthesis인용 수 9

한 줄 요약

이 논문은 UTF-8로 인코딩된 유니코드 바이트를 텍스트 표현 단위로 사용하는 엔드 투 엔드 다국어 음성 인식(Audio-to-Byte, A2B) 및 음성 합성(Byte-to-Audio, B2A) 모델을 제안한다. 고정된 256개의 어휘 바이트 공간을 활용함으로써, 대규모의 언어별로 특화된 문자 또는 서브워드 어휘가 필요 없어지며, 이는 효율적인 다국어 모델링을 가능하게 하고, 평균적으로 단일 언어 기반 기준 대비 4.4% 상대적 WER 향상을 이끌어내며, 일본어-영어 혼합 언어 데이터에서는 38.6% 상대적 향상을 기록한다.

ABSTRACT

We present two end-to-end models: Audio-to-Byte (A2B) and Byte-to-Audio (B2A), for multilingual speech recognition and synthesis. Prior work has predominantly used characters, sub-words or words as the unit of choice to model text. These units are difficult to scale to languages with large vocabularies, particularly in the case of multilingual processing. In this work, we model text via a sequence of Unicode bytes, specifically, the UTF-8 variable length byte sequence for each character. Bytes allow us to avoid large softmaxes in languages with large vocabularies, and share representations in multilingual models. We show that bytes are superior to grapheme characters over a wide variety of languages in monolingual end-to-end speech recognition. Additionally, our multilingual byte model outperform each respective single language baseline on average by 4.4% relatively. In Japanese-English code-switching speech, our multilingual byte model outperform our monolingual baseline by 38.6% relatively. Finally, we present an end-to-end multilingual speech synthesis model using byte representations which matches the performance of our monolingual baselines.

연구 동기 및 목표

• 일본어나 한국어처럼 수만 개의 문자를 가진 언어의 경우 특히 큰 희소성의 문자 어휘 문제를 해결하기 위해, 다국어 음성 처리에서 큰 크기의 희소 문자 어휘가 초래하는 과제를 해결하는 것.
• UTF-8 바이트를 통해 언어에 종속되지 않는 표현 방식을 사용함으로써, 언어별로 특화된 어휘사전이나 발음 사전이 필요 없도록 하는 것.
• 기존 아키텍처 변경 없이도 새로운 언어를 점진적으로 확장할 수 있는 스케일링이 가능하고, 컴act하며 확장 가능한 다국어 ASR 및 TTS 모델을 가능하게 하는 것.
• 다국어 설정, 특히 혼합 언어 상황을 포함한 단일 언어 및 다국어 설정에서 바이트 기반 모델과 문자 기반 기준 모델 간의 성능을 평가하는 것.

제안 방법

• Audio-to-Byte(A2B) 모델은 원시 음성 신호를 직접 UTF-8로 인코딩된 바이트 시퀀스로 매핑하기 위해 Listen-Attend-and-Spell(LAS) 아키텍처를 사용하며, 문자나 서브워드 출력을 대체한다.
• Byte-to-Audio(B2A) 모델은 Tacotron 2 기반으로 구현되며, 입력 바이트 시퀀스에서 음성을 생성함으로써 공통의 256바이트 어휘를 사용하는 엔드 투 엔드 다국어 TTS를 가능하게 한다.
• 다국어 학습을 위해 모델은 새로운 언어를 작은 혼합 비율로 점진적으로 추가함으로써 치명적인 기억 상실을 방지하면서도 동일한 모델 아키텍처를 유지한다.
• 1-핫 언어 벡터를 사용하여 A2B 모델을 조절함으로써, 추론 시 언어별 적응이 가능해져 다국어 데이터에서 성능 향상을 이룬다.
• 모델은 언어에 종속된 토크나이저 또는 서브워드 분할이 필요 없이 전적으로 바이트 기반으로 작동하므로, 어떤 유니코드 텍스트라도 원활하게 지원할 수 있다.
• 혼합 언어 텍스트를 연속적인 바이트 스트림으로 간주함으로써 코드 스위칭을 지원하며, 언어 경계 탐지나 분할이 필요 없이 작동한다.

실험 결과

연구 질문

• RQ1 UTF-8 바이트 시퀀스는 다국어 엔드 투 엔드 음성 인식 및 합성에 효과적이고 확장 가능한 텍스트 표현 단위로 기능할 수 있는가? 문자나 서브워드 대체 가능성이 있는가?
• RQ2 대규모 문자 어휘를 가진 언어에서 바이트 기반 모델의 성능은 문자 기반 모델과 비교해 어떻게 되는가? 단일 언어 및 다국어 ASR 설정 모두에서 평가된다.
• RQ3 언어 경계 모델링 없이도 바이트 기반 모델은 일본어-영어 혼합 말하기와 같은 코드 스위칭 음성 처리에 얼마나 잘 대응할 수 있는가?
• RQ4 단일 다국어 모델이 바이트 기반으로 학습되었을 때, 단일 언어 기반 기준 모델과 유사한 성능을 달성하면서도 모델의 컴팩트성과 확장 가능성을 유지할 수 있는가?
• RQ5 바이트 수준 표현을 사용해 점진적으로 언어를 추가할 경우, 성능 저하를 방지하고 새로운 언어로의 효율적 확장을 가능하게 할 수 있는가?

주요 결과

• A2B 모델은 일본어와 한국어에서 A2C(문자 기반) 모델을 초월하며, 일본어-영어 혼합 언어 데이터에서 38.6% 상대적 WER 향상을 기록하여, OOV 및 혼합 언어 콘텐츠 처리 능력이 뛰어나다는 것을 입증한다.
• 평균적으로, 네 언어(영어, 일본어, 스페인어, 한국어)에 대해 다국어 A2B 모델은 개별 단일 언어 기반 기준 대비 4.4% 상대적 WER 향상을 기록한다.
• 언어 혼합 비율을 사용해 점진적으로 학습한 다국어 A2B 모델은 초기 학습보다 성능이 뛰어나며, 다양한 언어 간의 일반화 능력이 뛰어나다.
• B2A 모델은 평균 의견 점수(MOS)에서 단일 언어 기반 문자 기반 TTS 모델과 유사한 성능을 보이며, 영어의 경우 4.23±0.14, 중국어의 경우 3.42±0.12, 스페인어의 경우 4.23±0.10을 기록하여 음성 자연도에서 동등한 성능을 입증한다.
• 바이트 기반 TTS 모델은 코드 스위칭 텍스트를 성공적으로 합성했지만, 이러한 경우의 유창성이나 화자 일관성 평가를 위한 표준화된 지표는 존재하지 않는다.
• 다국어 A2B 모델에 1-핫 언어 벡터를 사용함으로써 성능 향상이 이루어졌지만, 문장 수준의 언어 정보만으로는 코드 스위칭 데이터에서 성능 향상이 제한적이며, 이는 화면 수준의 언어 조절 조건이 잠재적인 향상 가능성을 암시한다.