[논문 리뷰] SAN-M: Memory Equipped Self-Attention for End-to-End Speech Recognition

Zhifu Gao, Shiliang Zhang외 2명|arXiv (Cornell University)|2020. 05. 21.

Speech Recognition and Synthesis참고 문헌 28인용 수 9

한 줄 요약

이 논문은 엔드투엔드 음성 인식에서 장거리 의존성 모델링을 향상시키기 위해 메모리 기반의 자기주의(self-attention) 메커니즘인 SAN-M을 제안한다. SAN-M은 자기주의와 DFSMN 메모리 블록을 통합하여 단일 서브레이어 내에서 깊은 융합 방식으로 통합한다. 이로 인해 SAN-M은 상태의 기준(SOTA) 성능을 달성하였으며, 외부 언어 모델 없이 AISHELL-1에서 CER를 6.46%로 낮추고, 20,000시간 분량의 중국어 음성 인식 작업에서 트랜스포머 기반 베이스라인을 10% 이상 초월하는 성능을 보였다.

ABSTRACT

End-to-end speech recognition has become popular in recent years, since it can integrate the acoustic, pronunciation and language models into a single neural network. Among end-to-end approaches, attention-based methods have emerged as being superior. For example, Transformer, which adopts an encoder-decoder architecture. The key improvement introduced by Transformer is the utilization of self-attention instead of recurrent mechanisms, enabling both encoder and decoder to capture long-range dependencies with lower computational complexity.In this work, we propose boosting the self-attention ability with a DFSMN memory block, forming the proposed memory equipped self-attention (SAN-M) mechanism. Theoretical and empirical comparisons have been made to demonstrate the relevancy and complementarity between self-attention and the DFSMN memory block. Furthermore, the proposed SAN-M provides an efficient mechanism to integrate these two modules. We have evaluated our approach on the public AISHELL-1 benchmark and an industrial-level 20,000-hour Mandarin speech recognition task. On both tasks, SAN-M systems achieved much better performance than the self-attention based Transformer baseline system. Specially, it can achieve a CER of 6.46% on the AISHELL-1 task even without using any external LM, comfortably outperforming other state-of-the-art systems.

연구 동기 및 목표

• 엔드투엔드 음성 인식에서 자기주의와 DFSMN 메모리 블록이 장거리 의존성을 모델링하는 데에 가지는 한계를 해결하기 위해.
• 자기주의의 전역적 모델링과 DFSMN의 국소적이고 스택형 메모리 학습 간의 상호보완성 탐색을 위해.
• 두 메커니즘을 단일 서브레이어 내에서 통합한 통합적이고 효율적인 아키텍처 설계를 위해.
• 공개 및 산업 규모의 중국어 음성 인식 벤치마크에서 제안된 SAN-M 메커니즘의 성능 평가를 위해.
• SAN-M이 외부 언어 모델을 필요로 하지 않고도 최고 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• SAN-M은 트랜스포머 인코더 및 디코더의 기본 서브레이어 내에서 자기주의와 DFSMN 메모리 블록을 깊은 융합 방식으로 통합한다.
• 자기주의 메커니즘은 입력 시퀀스의 쿼리, 키, 밸류를 사용하여 문맥적 표현을 계산하여 전역적 장거리 모델링을 가능하게 한다.
• DFSMN 메모리 블록은 시간 지연를 가진 피드포워드 레이어의 시리즈를 통해 순차적 특징을 처리하여 국소적이고 계층적인 장기 의존성을 캡처한다.
• 자기주의와 DFSMN의 출력을 연결하고 투영하여 SAN-M 서브레이어의 최종 출력을 형성함으로써 전역적 및 국소적 패턴의 공동 학습을 가능하게 한다.
• 모델은 레이블 스무딩과 드롭아웃 정규화를 적용한 교차 엔트로피 손실을 사용하여 엔드투엔드로 훈련된다.
• 실험은 LFR 특징 처리, SpecAugment 데이터 증강, Noam 학습률 스케줄링을 적용한 OpenNMT 툴킷을 사용한다.

실험 결과

연구 질문

• RQ1 자기주의와 DFSMN 메모리 블록이 효과적으로 융합되어 엔드투엔드 음성 인식 성능을 향상시킬 수 있는가?
• RQ2 자기주의와 DFSMN 간에 장거리 의존성 모델링에서 이론적 및 실증적 상호보완성이 존재하는가?
• RQ3 제안된 SAN-M 메커니즘이 대규모 중국어 음성 인식 작업에서 표준 자기주의 기반 트랜스포머를 능가하는가?
• RQ4 SAN-M이 외부 언어 모델에 의존하지 않고도 최고 성능을 달성할 수 있는가?
• RQ5 모델의 깊이와 너비는 장시간 및 원거리 음성 데이터에서 SAN-M의 성능 향상에 어떤 영향을 미치는가?

주요 결과

• AISHELL-1 벤치마크에서 SAN-M은 외부 언어 모델 없이도 문자 오류율(CER)을 6.46%로 달성하여 이 작업에서 이전의 모든 최고 성능 시스템을 능가하였다.
• AISHELL-1 데이터셋에서 SAN-M은 자기주의 기반 트랜스포머 베이스라인 대비 11.8%의 상대적 향상을 기록하였다.
• 20,000시간 분량의 산업용 중국어 음성 인식 작업에서 SAN-M은 일반 셋 및 원거리 음성 테스트 세트에서 트랜스포머 베이스라인을 10% 이상의 상대적 오류 감소율로 능가하였다.
• 성능 향상은 원거리 음성 데이터에서 가장 두드러졌으며, 이는 SAN-M이 장시간이고 도전적인 음성 시퀀스를 모델링하는 데 뛰어난 능력을 지녔음을 시사한다.
• 더 얇고 더 깊은 SAN-M 구성에서 더 큰 성능 향상이 발생하였으며, 모델 크기의 7% 미만 증가로 원거리 음성 데이터에서 17%의 상대적 향상을 달성하였다.
• 실증 결과는 자기주의와 DFSMN 간의 이론적 상호보완성이 확인되었으며, 각 구성 요소가 서로의 장거리 의존성 모델링 능력을 향상시킨다.