[논문 리뷰] Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition

Xinyuan Zhou, Emre Yılmaz외 3명|arXiv (Cornell University)|2020. 06. 18.

Speech Recognition and Synthesis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 코드스위칭 음성 인식을 향상시키기 위해 두 개의 대칭적이고 언어별로 특화된 인코더와 해당하는 다중 헤드 어텐션 모듈을 갖춘 다중 인코더-디코더(MED) 트랜스포머 아키텍처를 제안한다. 대규모 단어성 언어별 코퍼스로 사전 훈련하고, 제한된 코드스위칭 데이터로 CTC 및 KL 발산을 사용해 미세조정함으로써, MED 모델은 각각 중국어-매트릭스 및 영어-매트릭스 코드스위칭 평가에서 10.2%와 10.8%의 상대 오차율 감소를 달성한다.

ABSTRACT

Code-switching (CS) occurs when a speaker alternates words of two or more languages within a single sentence or across sentences. Automatic speech recognition (ASR) of CS speech has to deal with two or more languages at the same time. In this study, we propose a Transformer-based architecture with two symmetric language-specific encoders to capture the individual language attributes, that improve the acoustic representation of each language. These representations are combined using a language-specific multi-head attention mechanism in the decoder module. Each encoder and its corresponding attention module in the decoder are pre-trained using a large monolingual corpus aiming to alleviate the impact of limited CS training data. We call such a network a multi-encoder-decoder (MED) architecture. Experiments on the SEAME corpus show that the proposed MED architecture achieves 10.2% and 10.8% relative error rate reduction on the CS evaluation sets with Mandarin and English as the matrix language respectively.

연구 동기 및 목표

• 제한된 훈련 데이터로 인해 저자원 코드스위칭 음성 인식 문제를 해결하기 위해.
• 언어별 음향 및 언어적 특징을 별도로 모델링하여 코드스위칭 음성에서의 언어 식별성을 향상시키기 위해.
• 대규모 단어성 언어별 코퍼스로의 사전 훈련을 통해 언어별 구성 요소를 초기화하고 데이터 부족 문제를 완화하기 위해.
• 공통 디코더를 통해 통합된 디코딩을 구현하면서도, 이중 인코더와 어텐션 모듈을 통해 언어별 표현 학습을 유지하기 위해.

제안 방법

• MED-Transformer는 중국어와 영어에 대해 별도로 학습하는 대칭적이고 언어별로 특화된 두 개의 인코더를 사용하여 각각 다른 음향 표현을 학습한다.
• 각 인코더는 대규모 단어성 음성 코퍼스로 사전 훈련되어 초기화 및 표현 품질을 향상시킨다.
• 디코더는 각각의 인코더 출력을 참조하는 언어별로 특화된 다중 헤드 어텐션(MHA) 모듈을 사용한다.
• 완전한 모델은 연결주의적 시간 분류(CTC) 및 쿨백-라이블러 발산 손실을 사용하여 코드스위칭 데이터로 미세조정된다.
• 이 아키텍처는 음향 및 언어 정보를 함께 모델링하면서도 표현 학습에서 언어별 불변성을 유지한다.
• 모든 인코더와 디코더에서 스케일된 도트곱 어텐션을 사용하며, 다중 헤드 어텐션은 다중 하위공간 어텐션 학습을 가능하게 한다.

Figure 1: Model architecture of the proposed multi-encoder-decoder Transformer.

실험 결과

연구 질문

• RQ1 언어별 사전 훈련을 적용한 이중 인코더 아키텍처가 단일 인코더 베이스라인 대비 코드스위칭 ASR 성능을 향상시킬 수 있는가?
• RQ2 디코더에서 언어별로 특화된 다중 헤드 어텐션을 사용함으로써 혼합된 언어 간의 식별성이 향상되는가?
• RQ3 언어별로 사전 훈련된 데이터로의 사전 훈련이 코드스위칭 ASR에서의 데이터 부족 문제를 어느 정도 완화할 수 있는가?
• RQ4 개별 인코더는 단어성 입력과 코드스위칭 입력에 대해 어떻게 반응하는가? 이는 효과적인 언어 식별을 반영하는가?

주요 결과

• MED-Transformer는 베이스라인 대비 중국어-매트릭스 평가 세트(eval man)에서 10.2%의 상대 오차율 감소를 달성했다.
• 영어-매트릭스 평가 세트(eval sge)에서도 10.8%의 상대 오차율 감소가 관찰되어 매트릭스 언어 간에 우수한 성능을 보였다.
• eval man 및 eval sge 세트에서 각각 영어 단어에 대해 12.8%와 12.1%의 상대 오차율 감소를 달성했다.
• eval man 및 eval sge 세트에서 각각 중국어 문자에 대해 8.6%와 6.2%의 상대 오차율 감소를 달성했다.
• 언어별로 특화된 인코더는 명확한 활성화 패턴을 보였다: 중국어 인코더는 중국어 음성에 강하게 반응하고, 영어 인코더는 영어 음성에 반응하여 효과적인 언어 식별이 이루어졌음을 확인했다.
• 디코더에 언어별로 특화된 MHA만을 사용한 모델(M-De)은 성능 향상이 없었으며, 이는 이 작업에서 인코더별 모델링이 디코더별 어텐션보다 더 중요함을 시사한다.

Figure 2: The distribution of the normalized values observed at each encoder’s final layer of the proposed MED Transformer system