[논문 리뷰] Multi-task Recurrent Model for True Multilingual Speech Recognition

Zhiyuan Tang, Lantian Li외 1명|arXiv (Cornell University)|2016. 09. 27.

Speech Recognition and Synthesis참고 문헌 13인용 수 3

한 줄 요약

이 논문은 다중 작업 순환 모델을 제안하여 자동 음성 인식(ASR) 및 언어 인식(LR) 구성 요소를 동시에 학습시켜 언어 인지 기반의 다국어 음성 인식을 가능하게 한다. LR 구성 요소에서 유입되는 실시간 언어 예측을 ASR 디코더에 통합함으로써 디코딩 중의 언어 간 경쟁을 줄이고, 영어-중국어 이중어국 작업에서 상당한 WER 향상을 달성한다. 특히 영어에서 가장 두드러진 성능 향상을 보이며, 최적의 설정에서는 기준 모델 대비 영어 WER을 1.04% 감소시킨다.

ABSTRACT

Research on multilingual speech recognition remains attractive yet challenging. Recent studies focus on learning shared structures under the multi-task paradigm, in particular a feature sharing structure. This approach has been found effective to improve performance on each individual language. However, this approach is only useful when the deployed system supports just one language. In a true multilingual scenario where multiple languages are allowed, performance will be significantly reduced due to the competition among languages in the decoding space. This paper presents a multi-task recurrent model that involves a multilingual speech recognition (ASR) component and a language recognition (LR) component, and the ASR component is informed of the language information by the LR component, leading to a language-aware recognition. We tested the approach on an English-Chinese bilingual recognition task. The results show that the proposed multi-task recurrent model can improve performance of multilingual recognition systems.

연구 동기 및 목표

• 디코딩 중 언어 간 경쟁으로 인한 다국어 ASR 성능 저하 문제를 해결하기 위해.
• ASR 및 LR 구성 요소가 상호 보완적으로 향상될 수 있도록 공동 학습 프레임워크를 개발하기 위해.
• ASR 디코더에 실시간 언어 정보를 제공함으로써 진정한 다국어 디코딩을 가능하게 하고, 단일 언어 모델에 대한 의존도를 줄이기 위해.
• 다양한 언어 간 공통적인 음향 및 언어적 특성을 공유함으로써 자원이 적은 언어의 인식 성능을 향상시키기 위해.
• 공유 및 통합된 언어 모델링을 통한 이중어국(영어-중국어) ASR 환경에서의 순환 다중 작업 학습의 효과를 평가하기 위해.

제안 방법

• ASR 및 LR 구성 요소 간 순환 정보를 공유하는 다중 작업 순환 LSTM 아키텍처를 설계하여 함께 학습한다.
• 언어 인식 출력 결과를 조건부 입력으로 ASR 디코더에 피드백하여 디코딩 중 ASR 모델이 언어를 인지하도록 한다.
• LR 구성 요소로부터의 순환 피드백을 통해 프레임 단위로 언어 정체성 추정을 개선하고, 시간이 지남에 따라 디코딩 신뢰도를 향상시킨다.
• 비교를 위해 단일 언어 모델(mono-LM)과 이중 언어 모델(bi-LM)을 모두 지원하며, 가중치가 부여된 유한 상태 변환기로 디코딩을 수행한다.
• 입력 게이트, 출력 게이트, 비선형 활성화 함수에 순환 상태를 피드백하는 다양한 피드백 설정을 탐색한다.
• 엔드 투 엔드 역전파를 사용하여 공동 학습을 수행하며, LR 구성 요소가 ASR 디코딩을 안내하기 위해 언어적 맥락을 제공한다.

실험 결과

연구 질문

• RQ1 ASR 및 LR 구성 요소의 공동 학습이 다국어 디코딩 중 언어 간 경쟁을 줄일 수 있는가?
• RQ2 보조 LR 구성 요소에서 유도된 실시간 언어 정보가 추론 중 ASR 성능을 향상시키는가?
• RQ3 제안된 다중 작업 순환 모델이 표준 특성 공유 및 단일 언어 기반 기준 모델 대비 이중어국 ASR에서 어떻게 성능을 냈는가?
• RQ4 이중어국 환경에서 자원이 적은 언어인 중국어의 성능 향상에 모델이 어느 정도 기여하는가?
• RQ5 공동 ASR-LR 학습에서 최적의 성능을 내는 순환 피드백 아키텍처 설정은 무엇인가?

주요 결과

• 제안된 다중 작업 순환 모델은 최적의 피드백 설정을 통해 기준 mono-LM 시스템 대비 영어 WER을 1.04% 감소시켜 15.65%의 WER를 달성한다.
• 모델은 다양한 설정에서도 일관되게 영어 WER을 0.4–0.5% 향상시키며, 아키텍처 변형에 대해 강건함을 보인다.
• 중국어 ASR 성능은 설정에 관계없이 최소한의 향상(≤0.5% 감소)을 보이며, 데이터 불일치 및 채널 변동성으로 인해 성능 향상이 제한됨을 시사한다.
• 입력, 출력, 활성화 게이트에 순환 정보를 피드백하는 최적의 설정에서 가장 낮은 WER(영어 15.65%, 중국어 23.82%)를 기록하며 mono-LM 설정에서 성능을 내는 것으로 확인되었다.
• 학습 데이터에 대해 잘 일반화되며, 모든 다중 작업 설정이 기준 모델보다 학습 데이터의 일부에서 성능이 뛰어나 강력한 학습 능력과 과적합 감소를 보여준다.
• bi-LM 설정은 mono-LM 대비 略로 높은 WER를 기록하지만, 다중 작업 모델은 여전히 기준 모델을 능가하며 통합 언어 모델링 조건에서도 효과적임을 입증한다.