[논문 리뷰] Embedding-Based Speaker Adaptive Training of Deep Neural Networks

Xiaodong Cui, Vaibhava Goel외 1명|arXiv (Cornell University)|2017. 10. 17.

Speech Recognition and Synthesis참고 문헌 12인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망 음성 모델의 내부 특징 표현을 정규화하기 위해 말하기자 i-벡터를 사용하여 계층별로 고유한 요소별 아핀 변환을 생성하는 임bedding 기반의 화자 적응 훈련(SAT) 방법을 제안한다. 제안된 방법은 주 네트워크와 제어 네트워크를 동시에 최적화하여 Switchboard에서 0.6% 절대 WER 향상과 Callhome에서 0.5% 향상을 달성하며, i-벡터 기반의 화자 인식 훈련보다 우수한 성능을 보인다.

ABSTRACT

An embedding-based speaker adaptive training (SAT) approach is proposed and investigated in this paper for deep neural network acoustic modeling. In this approach, speaker embedding vectors, which are a constant given a particular speaker, are mapped through a control network to layer-dependent element-wise affine transformations to canonicalize the internal feature representations at the output of hidden layers of a main network. The control network for generating the speaker-dependent mappings is jointly estimated with the main network for the overall speaker adaptive acoustic modeling. Experiments on large vocabulary continuous speech recognition (LVCSR) tasks show that the proposed SAT scheme can yield superior performance over the widely-used speaker-aware training using i-vectors with speaker-adapted input features.

연구 동기 및 목표

• 깊이 있는 신경망 음성 모델링에서 화자 변동성을 다루기 위해, 이는 공변수 이동을 유발하고 ASR 성능을 저하시킨다.
• 은닉 계층 전반에 걸쳐 내부 특징 표현을 표준화함으로써 DNN 내 화자 불변성을 향상시키기 위해.
• 화자 임베딩 기반 아핀 변환을 주 네트워크의 은닉 계층에 통합하는 공동 훈련 프레임워크를 개발하기 위해.
• i-벡터 기반의 화자 인식 훈련 및 입력 특징 적응과 같은 기존 방법들을 초월하기 위해.
• 화자 임베딩을 사용하여 세밀한 계층별 정규화 변환을 생성하는 것이 가능한지 탐색하기 위해.

제안 방법

• 화자 i-벡터는 각 화자의 음성 특징을 나타내는 고정 길이의 임베딩으로 사용된다.
• 제어 네트워크는 각 화자의 i-벡터를 계층별 스케일링(a) 및 바이어스(b) 벡터로 매핑하여 요소별 아핀 변환을 수행한다.
• 아핀 변환은 선택된 은닉 계층의 출력에 적용되며, ŝ = a ⊙ x ⊕ b로 표현되며, 여기서 ⊙ 및 ⊕는 요소별 연산을 나타낸다.
• 제어 네트워크와 주 DNN을 함께 훈련하여 음성 모델링 목표를 최적화함으로써 종단 간 적응을 가능하게 한다.
• 주 네트워크 아키텍처의 하단 세 개의 LSTM 계층 이후에 정규화를 적용한다.
• 논문은 cross-entropy 및 시퀀스 훈련 기준을 사용하여 Babel 및 Switchboard LVCSR 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 화자 임베딩 기반 아핀 변환을 통해 내부 특징 공간을 표준화함으로써 DNN 음성 모델 성능을 향상시킬 수 있는가?
• RQ2 화자 임베딩 기반 SAT는 화자 적응 입력 특징을 사용하는 i-벡터 기반의 화자 인식 훈련과 비교해 어떻게 성능을 냈는가?
• RQ3 제어 네트워크와 주 네트워크를 함께 최적화하는 것이 별도의 적응보다 더 뛰어난 화자 불변성을 달성하는가?
• RQ4 이 방법은 cross-entropy 및 최소 베이즈 위험(sMBR)과 같은 다양한 훈련 기준에 일반화되는가?
• RQ5 입력 또는 출력 계층이 아닌 여러 은닉 계층에 SAT를 적용할 경우 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 임베딩 기반 SAT는 cross-entropy 훈련 하에서 Switchboard에서 0.6% 절대 WER 감소(8.1%에서 7.5%로)를 달성한다.
• Callhome에서는 cross-entropy 훈련 하에서 0.5% 절대 WER 감소(13.5%에서 13.0%로)를 기록한다.
• sMBR를 사용한 시퀀스 훈련 후, Switchboard에서 WER이 0.1% 절대 감소(7.2%에서 7.1%로), Callhome에서 0.2% 절대 감소(12.7%에서 12.5%로)를 기록한다.
• cross-entropy 및 시퀀스 훈련 모두에서 성능 향상이 일관되게 나타나, 훈련 목표에 대해 강건함을 보인다.
• 입력 특징에 대한 화자 적응을 적용한 i-벡터 기반의 화자 인식 훈련보다 성능이 뛰어나, 내부 특징 공간 정규화의 이점이 입증된다.
• 제어 네트워크는 모델의 일반화 능력을 향상시키는 화자에 따라 달라지는 변환을 성공적으로 학습한다.