[논문 리뷰] Efficient conformer-based speech recognition with linear attention

Shengqiang Li, Menglong Xu외 1명|arXiv (Cornell University)|2021. 04. 14.

Speech Recognition and Synthesis참고 문헌 22인용 수 11

한 줄 요약

이 논문은 선형 어텐션 기반 컨フォ머(LAC)를 제안한다. LAC는 순차적 복잡도를 가지는 컨포머의 자기어텐션을 다중헤드 선형 자기어텐션(MHLSA)으로 대체하여 계산 비용을 선형 시간으로 줄이면서도 성능을 유지하는 경량이고 효율적인 음성인식 모델이다. 또한 피드포워드 네트워크에 저질수 분해를 적용하여 파라미터를 약 50% 감소시키며 정확도 저하를 최소화한다. LAC는 LibriSpeech dev-clean에서 2.1%, test-other에서 2.3%의 경쟁력 있는 WER를 달성하였으며, 파라미터 수는 50% 감소하고 학습 속도는 컨포머 대비 1.23배 빠르다.

ABSTRACT

Recently, conformer-based end-to-end automatic speech recognition, which outperforms recurrent neural network based ones, has received much attention. Although the parallel computing of conformer is more efficient than recurrent neural networks, the computational complexity of its dot-product self-attention is quadratic with respect to the length of the input feature. To reduce the computational complexity of the self-attention layer, we propose multi-head linear self-attention for the self-attention layer, which reduces its computational complexity to linear order. In addition, we propose to factorize the feed forward module of the conformer by low-rank matrix factorization, which successfully reduces the number of the parameters by approximate 50% with little performance loss. The proposed model, named linear attention based conformer (LAC), can be trained and inferenced jointly with the connectionist temporal classification objective, which further improves the performance of LAC. To evaluate the effectiveness of LAC, we conduct experiments on the AISHELL-1 and LibriSpeech corpora. Results show that the proposed LAC achieves better performance than 7 recently proposed speech recognition models, and is competitive with the state-of-the-art conformer. Meanwhile, the proposed LAC has a number of parameters of only 50% over the conformer with faster training speed than the latter.

연구 동기 및 목표

• 엔드 투 엔드 음성인식에서 컨포머의 자기어텐션 메커니즘의 제곱형 복잡도를 줄이기 위해.
• 성능 저하 없이 모델 크기와 학습 비용을 감소시키기 위해.
• 저자원 또는 실시간 배포를 위한 컨포머 기반 ASR 시스템의 효율성과 확장성 향상하기 위해.
• 다중헤드 선형 자기어텐션과 저질수 분해가 음성인식을 위한 시퀀스 모델링에 얼마나 효과적인지 탐색하기 위해.

제안 방법

• 점곱 자기어텐션의 선형 복잡도 대체로 다중헤드 선형 자기어텐션(MHLSA)을 제안하여 상관 행렬 계산을 피한다.
• 에코더와 디코더의 피드포워드 네트워크에 저질수 행렬 분해를 적용하여 파라미터 수를 약 50% 감소시킨다.
• ASR 성능 향상을 위해 공동 학습 및 추론 중 연결주의적 시간 분류(CTC) 손실을 통합한다.
• 시퀀스 길이를 줄이기 위해 서브샘플링을 적용한 CNN 프론트엔드를 사용하고, 이어진 LAC 에코더와 디코더 스택을 구성한다.
• 시퀀스 순서 정보를 유지하기 위해 MHLSA 모듈에서 상대적 위치 인코딩을 사용한다.
• CTC를 공동으로 학습 및 추론하여 정렬 성능과 내성 강도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중헤드 선형 자기어텐션은 선형 복잡도와 비교적 동일한 성능을 달성하면서 점곱 자기어텐션을 효과적으로 대체할 수 있는가?
• RQ2 저질수 분해를 통해 컨포머의 파라미터 수를 얼마나 줄일 수 있으며, ASR 정확도 저하 없이 가능한가?
• RQ3 공동 CTC 학습은 선형어텐션 기반 컨포머 모델의 성능을 향상시키는가?
• RQ4 최신 기술 수준의 컨포머 및 기타 최근 ASR 모델과 비교해 본다면, 제안된 LAC 모델은 정확도, 속도, 파라미터 효율성 측면에서 어떻게 비교되는가?

주요 결과

• AISHELL-1 테스트 세트에서 LAC는 CER 5.02%를 달성하여 최근 7개 모델을 능가하고, 컨포머의 4.88%에 근접한다.
• LibriSpeech에서 LAC는 dev-clean에서 WER 2.1%, test-other에서 2.3%를 기록하여 전체 컨포머 모델과 동일한 성능를 달성한다.
• AISHELL-1 기준 모델 파라미터 수는 22.83M, LibriSpeech 기준 23.47M로, 컨포머 대비 약 50% 감소하였다.
• AISHELL-1에서 LAC는 원본 컨포머 대비 1.23배 빠르게 학습되었고, LibriSpeech에서는 1.18배 빠르게 학습되었다. 이는 선형 어텐션과 파라미터 수 감소 덕분이었다.
• 제거 실험 결과, MHLSA가 O(T²)에서 O(T)로 복잡도를 줄여도 성능를 유지함을 확인하였고, 저질수 분해를 통해 파라미터 수를 약 50% 감소시키며 정확도 손실는 최소화하였다.
• AISHELL-1에서 블로킹 차원(d_bn)이 100일 때 모델 크기와 성능 사이의 최적의 트레이드오프를 제공하며, dev에서 CER 4.73%, test에서 CER 5.02%를 기록하였다.