[논문 리뷰] DFSMN-SAN with Persistent Memory Model for Automatic Speech Recognition

Zhao You, Dan Su외 3명|arXiv (Cornell University)|2019. 10. 28.

Speech Recognition and Synthesis참고 문헌 15인용 수 5

한 줄 요약

이 논문은 자동 음성 인식을 위한 지속 메모리가 있는 DFSMN-SAN을 제안하며, 깊이 있는 피드포워드 순차적 메모리 네트워크(DFSMN)와 자기주의성 네트워크(SAN)를 결합하여 장기적 맥락 모델링을 향상시킵니다. 두 가지 지속 메모리 구조—키-값 메모리와 입력 임베딩 메모리—를 도입하여 대규모 LVCSR 작업에서 기준 모델 대비 최대 11%의 상대적 CER 감소를 달성합니다.

ABSTRACT

Self-attention networks (SAN) have been introduced into automatic speech recognition (ASR) and achieved state-of-the-art performance owing to its superior ability in capturing long term dependency. One of the key ingredients is the self-attention mechanism which can be effectively performed on the whole utterance level. In this paper, we try to investigate whether even more information beyond the whole utterance level can be exploited and beneficial. We propose to apply self-attention layer with augmented memory to ASR. Specifically, we first propose a variant model architecture which combines deep feed-forward sequential memory network (DFSMN) with self-attention layers to form a better baseline model compared with a purely self-attention network. Then, we propose and compare two kinds of additional memory structures added into self-attention layers. Experiments on large-scale LVCSR tasks show that on four individual test sets, the DFSMN-SAN architecture outperforms vanilla SAN encoder by 5% relatively in character error rate (CER). More importantly, the additional memory structure provides further 5% to 11% relative improvement in CER.

연구 동기 및 목표

• DFSMN과 자기주의성 네트워크(SAN)를 결합하여 장기적 의존성 모델링을 향상시켜 자동 음성 인식(ASR) 성능을 향상시키는 것.
• 전체 발화 맥락을 초월한 정보가 ASR 정확도를 추가로 향상시킬 수 있는지 조사하는 것.
• 입력 시퀀스와 독립적으로 전역 맥락을 저장하는 새로운 지속 메모리 구조를 설계하고 평가하는 것.
• 키-값 메모리와 입력 임베딩 메모리의 성능 및 파라미터 효율성 측면에서의 효과성을 비교하는 것.
• 실제 음성 데이터를 사용한 대규모이고 다양한 테스트 세트에서 제안된 아키텍처와 메모리 메커니즘을 검증하는 것.

제안 방법

• 효율성과 장거리 의존성 모델링의 균형을 위해 30개의 DFSMN 레이어와 3개의 멀티헤드 자기주의성 서브레이어를 통합한 하이브리드 모델 아키텍처인 DFSMN-SAN을 제안합니다.
• 입력 시퀀스와 독립적인 전역 맥락을 저장하는 학습 가능한 키-값 벡터를 자기주의성 레이어에 추가하여 지속 메모리 메커니즘을 도입합니다.
• 메모리 벡터를 입력 임베딩과 공유함으로써 모델 크기를 줄이면서도 성능를 유지하는 개선된 입력 임베딩 메모리 구조를 제안합니다.
• 안정적인 훈련을 위해 다중 헤드 자기주의성과 스케일된 도트곱 어텐션, 잔차 연결, 레이어 정규화 및 드롭아웃을 사용합니다.
• 기울기 클리핑을 적용한 CTC 손실을 사용하고, Kaldi 툴킷을 활용하여 8개의 Tesla P40 GPU에서 BMUF 최적화를 통해 모델을 훈련시킵니다.
• 문자 오류율(CER)을 주요 평가 지표로 사용하여, 독서, 채팅, 즉석, AISHELL의 네 가지 테스트 세트에서 두 가지 메모리 유형을 평가합니다.

실험 결과

연구 질문

• RQ1 순수한 SAN 또는 DFSMN 모델에 비해 DFSMN과 자기주의성 레이어를 조합함으로써 ASR 성능 향상이 가능할까?
• RQ2 발화 수준의 맥超出를 초월한 지속 메모리 도입이 ASR 정확도 향상에 측정 가능한 영향을 미칠까?
• RQ3 다른 지속 메모리 구조(키-값 대비 입력 임베딩)는 성능 및 파라미터 효율성 측면에서 어떻게 비교될까?
• RQ4 다양한 음성 특성과 함께 다양한 테스트 세트에서 지속 메모리의 성능 향상 효과가 탄탄한가?
• RQ5 최소한의 자기주의성 레이어를 갖춘 하이브리드 DFSMN-SAN 아키텍처가 전체 SAN 인코더를 능가할 수 있을까, 동시에 계산 비용은 감소시킬 수 있을까?

주요 결과

• DFSMN-SAN 모델은 순수 DFSMN 및 순수 SAN 모델보다 우수하며, 독서 테스트 세트에서 34.4%의 상대적 CER 향상을 달성합니다.
• DFSMN-SAN 모델에 지속 메모리를 추가하면 모든 테스트 세트에서 5%에서 11%의 상대적 CER 향상이 추가로 발생합니다.
• 키-값 메모리 구조는 기준 모델 대비 AISHELL 테스트 세트에서 9.5%의 상대적 CER 향상을 달성합니다.
• 제안된 입력 임베딩 메모리 구조는 더 적은 파라미터로 키-값 메모리와 유사한 성능을 달성하여 더욱 컴act한 구조입니다.
• 지속 메모리 벡터의 수(64, 128, 256)는 성능에 미치는 영향이 미미하여 이 범위 내에서는 수에 대한 민감도가 낮음을 시사합니다.
• 모든 실험은 10,000시간 이상의 훈련 데이터에서 수행되었으며, 네 가지의 서로 다른 테스트 세트에서 일관된 결과를 보여 일반화 능력을 입증합니다.