[논문 리뷰] Efficient Conformer with Prob-Sparse Attention Mechanism for End-to-EndSpeech Recognition

Xiong Wang, Sining Sun외 2명|arXiv (Cornell University)|2021. 06. 17.

Speech Recognition and Synthesis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 엔드 투 엔드 음성 인식에서 추론 속도를 향상시키고 메모리 사용량을 줄이기 위해 Conformer Transducer 모델에 확률 희소(self-attention) 메커니즘을 제안한다. 쿨백-라이블러 발산을 사용하여 가장 정보가 많은 쿼리만을 식별하고 유지함으로써, 이 방법은 LibriSpeech 및 AISHELL-1 데이터셋에서 ASR 정확도를 떨어뜨리지 않은 채 추론 속도를 8%~45% 빠르게 하고 메모리 소비를 15%~45% 감소시킨다.

ABSTRACT

End-to-end models are favored in automatic speech recognition (ASR) because of their simplified system structure and superior performance. Among these models, Transformer and Conformer have achieved state-of-the-art recognition accuracy in which self-attention plays a vital role in capturing important global information. However, the time and memory complexity of self-attention increases squarely with the length of the sentence. In this paper, a prob-sparse self-attention mechanism is introduced into Conformer to sparse the computing process of self-attention in order to accelerate inference speed and reduce space consumption. Specifically, we adopt a Kullback-Leibler divergence based sparsity measurement for each query to decide whether we compute the attention function on this query. By using the prob-sparse attention mechanism, we achieve impressively 8% to 45% inference speed-up and 15% to 45% memory usage reduction of the self-attention module of Conformer Transducer while maintaining the same level of error rate.

연구 동기 및 목표

• 긴 음성 시퀀스에 대해 Conformer 모델의 자기주의(self-attention)에서 발생하는 높은 계산 비용과 메모리 사용량을 해결하기 위해.
• 정보량이 낮은 쿼리를 식별하고 제거하여 자기주의의 부정확한 계산을 줄이기 위해.
• 유의미하게 추론 효율성을 향상시키면서도 최신의 음성 인식 성능을 유지하기 위해.
• 레이어 간에 희소성 측정치를 공유하여 추가적인 계산 오버헤드를 최소화하기 위해.

제안 방법

• 이 방법은 쿨백-라이블러 발산을 사용하여 쿼리의 희소성 수준을 측정하고, 비균일한 주의 분포를 가지는 쿼리를 식별하는 확률 희소 자기주의 메커니즘을 도입한다.
• 주의 점수 분포가 균일 분포에서 크게 벗어나는 쿼리들만 계산에 유지되며, 이는 주의 행렬의 효과적 희소화를 가능하게 한다.
• 희소성 임계값은 하이퍼파rameter $ r_{sparse} $ 로 제어되며, 이는 희소성 점수 기반으로 유지할 쿼리의 비율을 결정한다.
• 희소성 측정치 공유 기법을 레이어 간에 적용하여, 매 $ N_{share} $ 레이어마다 측정치를 계산하고 재사용함으로써 계산량을 줄인다.
• 이 방법은 표준 자기주의를 인코더 블록에서 대체하는 방식으로 Conformer Transducer 아키텍처에 통합된다.
• 모델은 희소성 및 공유 파라미터에 대한 추론 분석을 포함하여, LibriSpeech 및 AISHELL-1 데이터셋에서 훈련 및 평가된다.

Figure 1: Architecture of Conformer Transducer.

실험 결과

연구 질문

• RQ1 주의 분포 엔트로피 기반의 학습 가능한 희소성 기준이 ASR 정확도를 떨어뜨리지 않으면서 추론 효율성을 향상시킬 수 있는가?
• RQ2 희소성 임계값 $ r_{sparse} $ 의 선택이 인식 성능와 효율성에 어떤 영향을 미치는가?
• RQ3 희소성 측정치를 레이어 간에 얼마나 효과적으로 공유할 수 있으며, 이로 인해 계산 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 확률 희소 메커니즘이 LibriSpeech 및 AISHELL-1와 같은 다양한 음성 인식 벤치마크에서 성능을 유지하는가?

주요 결과

• 확률 희소 주의 메커니즘은 Conformer Transducer 모델에서 다양한 시퀀스 길이에 걸쳐 8%에서 45%까지 빠른 추론 속도를 달성한다.
• 표준 Conformer 대비 자기주의 모듈의 메모리 사용량이 15%에서 45% 감소한다.
• $ r_{sparse} $ 가 0.35에서 0.5 사이로 설정된 경우, AISHELL-1 및 LibriSpeech 데이터셋 모두에서 기준 모델과 동일한 CER/WER 성능을 유지한다.
• $ N_{share} = 4 $ 일 때 희소성 측정치 공유로 계산량이 4배 감소했으며, CER에 눈에 띄는 영향이 없었고, $ N_{share} = 8 $ 일 때도 CER 증가 폭은 오직 0.1%에 불과했다.
• 이 방법은 데이터셋 간에 강건하며, AISHELL-1과 LibriSpeech 양쪽 모두에서 일관된 성능 향상을 보였다. 특히 더 큰 크기의 LibriSpeech 코퍼스에서도 유사한 개선 효과를 보였다.
• 시퀀스 길이가 길어질수록 효율성 향상 효과가 더 두드러지며, 이는 장기 음성 인식에 특히 유리한 방법이다.

Figure 2: Relationship between CER and $r_{sparse}$ values on AISHELL-1 test set.