[논문 리뷰] Adversarial Training for Multilingual Acoustic Modeling

Kevin Hu, Haşim Sak외 1명|arXiv (Cornell University)|2019. 06. 17.

Speech Recognition and Synthesis참고 문헌 22인용 수 6

한 줄 요약

이 논문은 공유된 LSTM 레이어에서 언어에 관계없이 유사한 특징을 학습함으로써 다국어 음성 인식의 성능을 향상시키기 위해 적대적 훈련을 제안한다. 공유된 레이어에서 언어에 특화된 정보를 줄이기 위해 도메인 적대적 언어 식별 헤드를 도입하고, 이로부터 유도된 역행렬 기울기를 사용함으로써, 다국어 모델에서는 평균 4%의 WER 향상과 단일 언어 모델에서는 10%의 WER 향상을 달성하였다. 이는 일곱 개의 언어에서 평가된 결과이다.

ABSTRACT

Multilingual training has been shown to improve acoustic modeling performance by sharing and transferring knowledge in modeling different languages. Knowledge sharing is usually achieved by using common lower-level layers for different languages in a deep neural network. Recently, the domain adversarial network was proposed to reduce domain mismatch of training data and learn domain-invariant features. It is thus worth exploring whether adversarial training can further promote knowledge sharing in multilingual models. In this work, we apply the domain adversarial network to encourage the shared layers of a multilingual model to learn language-invariant features. Bidirectional Long Short-Term Memory (LSTM) recurrent neural networks (RNN) are used as building blocks. We show that shared layers learned this way contain less language identification information and lead to better performance. In an automatic speech recognition task for seven languages, the resultant acoustic model improves the word error rate (WER) of the multilingual model by 4% relative on average, and the monolingual models by 10%.

연구 동기 및 목표

• 공유된 특징 표현에서 언어에 특화된 편향을 줄임으로써 다국어 음성 모델링을 향상시키기.
• 도메인 적대적 네트워크가 엔드 투 엔드 ASR에서 언어 간 지식 전이를 향상시킬 수 있는지 조사하기.
• 양방향 LSTM을 사용하여 적대적 훈련이 언어에 관계없는 특징을 학습하는 데 얼마나 효과적인지 평가하기.
• 각 언어별 미세조정이 적대적 및 비적대적 다국어 모델에 미치는 영향을 검토하기.
• 예측할 수 없는 언어나 다양한 언어 집단에 대한 일반화 능력 평가하기.

제안 방법

• 다국어 음성 모델은 모든 언어에 대해 공유된 양방향 LSTM 레이어를 사용하여 특징 추출을 수행한다.
• 각 언어는 음소 상태 분류를 위한 별도의 음성 모델링(AM) 헤드를 갖는다.
• 공유된 레이어에 프레임 수준의 언어 레이블을 식별하기 위한 언어 식별(LID) 헤드를 추가한다.
• 역행렬 기울기를 사용하여 백프로파게이션 중에 LID 헤드에서 유도된 기울기를 반전시켜, 공유 레이어가 언어에 관계없는 특징을 학습하도록 유도한다.
• 모든 언어의 데이터를 함께 사용하여 모델을 훈련하며, 공유 레이어에 대해 적대적 훈련을 적용한다.
• LID 헤드는 교차 엔트로피 손실로 훈련되며, 특징 추출기는 도메인 식별 가능성 최소화를 위해 최적화된다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 공유된 음성 특징에서 언어에 특화된 정보를 줄여 다국어 ASR 성능을 향상시킬 수 있는가?
• RQ2 적대적 훈련은 다국어 및 단일 언어 ASR 환경에서 단어 오류율(WER)에 어떤 영향을 미치는가?
• RQ3 각 언어별 미세조정이 성능 향상에 기여하는가? 그리고 이는 적대적 훈련과 어떻게 상호작용하는가?
• RQ4 언어에 관계없는 표현이 단일 언어 데이터로의 미세조정에 얼마나 민감한가?
• RQ5 적대적 훈련은 예측할 수 없는 언어나 동일한 언어 집단에 속하는 언어로 일반화 가능한가?

주요 결과

• 공유된 특징에서의 평균 프레임 수준 언어 식별 정확도가 62.2%에서 48.8%로 감소하여, 공유 특징에 포함된 언어에 특화된 정보가 감소함을 나타낸다.
• 다국어 모델은 비적대적 다국어 훈련 대비 평균적으로 4%의 상대적 WER 향상을 달성하였다.
• 적대적 다국어 모델을 기반으로 훈련한 단일 언어 모델은 비적대적 모델 대비 평균적으로 10%의 상대적 WER 향상을 보였다.
• 각 언어별 미세조정은 다국어 모델의 WER을 평균적으로 4.5% 향상시켰지만, 적대적 모델의 경우 평균적으로 2.8% 성능 저하를 초래하였다.
• 적대적 모델의 미세조정은 대부분의 언어에서 성능 저하를 초래하였으며, 언어에 관계없는 표현이 단일 언어 데이터로의 미세조정에 민감함을 시사한다.
• 적대적 모델의 공유 레이어는 언어에 특화된 신호를 최소화하면서도 음성 모델링에 유용한 음소 정보를 유지하고 있었다.