[논문 리뷰] E-Branchformer: Branchformer with Enhanced merging for speech recognition

Kwangyoun Kim, Felix F. Wu외 5명|arXiv (Cornell University)|2022. 09. 30.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

E-Branchformer는 국소(편율) 및 전역(자기주의 주목) 분지의 융합에 깊이 분할 컨볼루션을 통합한 향상된 융합 메커니즘을 도입하여 Branchformer 아키텍처를 개선함으로써, 외부 데이터 없이 LibriSpeech test-clean에서 1.81%의 최신 기술(WER), test-other에서 3.65%의 최신 기술(WER)을 달성한다.

ABSTRACT

Conformer, combining convolution and self-attention sequentially to capture both local and global information, has shown remarkable performance and is currently regarded as the state-of-the-art for automatic speech recognition (ASR). Several other studies have explored integrating convolution and self-attention but they have not managed to match Conformer's performance. The recently introduced Branchformer achieves comparable performance to Conformer by using dedicated branches of convolution and self-attention and merging local and global context from each branch. In this paper, we propose E-Branchformer, which enhances Branchformer by applying an effective merging method and stacking additional point-wise modules. E-Branchformer sets new state-of-the-art word error rates (WERs) 1.81% and 3.65% on LibriSpeech test-clean and test-other sets without using any external training data.

연구 동기 및 목표

• 국소 및 전역 맥락 분지 간 융합 메커니즘의 향상을 통해 Branchformer 아키텍처를 개선한다.
• 깊이 분할 컨볼루션과 같은 경량 모듈이 하이브리드 편율-자기주의 주목 모델의 성능 향상에 기여할 수 있는지 조사한다.
• 외부 학습 데이터를 사용하지 않고 LibriSpeech 벤치마크에서 최신 기술 성능을 달성한다.
• 향후 연구를 위한 재현 가능한 제안된 아키텍처의 구현을 제공한다.
• 엔드 투 엔드 ASR에서 국소 및 전역 표현을 융합하는 다양한 융합 전략의 효과성을 탐색한다.

제안 방법

• 편율 및 자기주의 주목 분지를 평행 융합한 후 깊이 분할 컨볼루션을 적용하는 새로운 융합 모듈을 도입한다.
• 향상된 융합 모듈 이후에 포인트와이즈 피드포워드 네트워크(FFNs)를 스택하여 표현을 추가로 정제한다.
• 깊이 분할 컨볼루션의 커널 크기를 31로 설정하며, 이는 탐색 실험에서 최적의 성능를 보였기 때문이다.
• 편율 및 자기주의 주목 분지를 평행으로 처리하고, 향상된 모듈을 통해 융합하는 다중 분지 아키텍처를 사용한다.
• 학습 안정성을 확보하기 위해 인코더 전반에 걸쳐 잔차 연결과 레이어 정규화를 적용한다.
• 표준 E2E ASR 설정과 일관되게 주목 기반 인코더-디코더 프레임워크를 사용하여 학습 및 추론을 수행한다.

실험 결과

연구 질문

• RQ1 편율 및 자기주의 주목 분지 간 더 깊은 융합 메커니즘이 기존의 Conformer 및 Branchformer 모델을 초월한 ASR 성능 향상에 기여할 수 있는가?
• RQ2 융합 모듈에 깊이 분할 컨볼루션을 추가하면 계산 비용 증가 없이 국소 맥락 집합을 향상시킬 수 있는가?
• RQ3 깊이 분할 컨볼루션의 다양한 커널 크기가 LibriSpeech 벤치마크의 WER에 어떤 영향을 미치는가?
• RQ4 SE 블록이나 외부 컨볼루션 모듈과 같은 추가 모듈이 융합 모듈의 성능에 어떤 영향을 미치는가?
• RQ5 향상된 융합 메커니즘이 Transducer나 CTC와 같은 다른 ASR 프레임워크로 일반화될 수 있는가?

주요 결과

• E-Branchformer는 외부 데이터 없이 LibriSpeech test-clean에서 1.81%의 최신 기술(WER), test-other에서 3.65%의 최신 기술(WER)을 달성하여 Conformer 및 Branchformer를 모두 초월한다.
• 융합 모듈에 깊이 분할 컨볼루션을 추가하면 기준 Branchformer 대비 모든 평가 세트에서 WER이 0.1–0.3% 감소한다.
• 깊이 분할 컨볼루션의 커널 크기가 31일 경우 최고의 성능를 보이며, 커널 크기 3에 비해 test-other에서 0.16%의 절대 WER 향상이 이루어진다.
• 융합 모듈에 다중 깊이 분할 컨볼루션 또는 SE 블록을 추가하면 성능 저하 또는 최소한의 성능 향상만 나타나, 추가적인 이점이 제한적임을 시사한다.
• 융합 모듈을 Conformer 스타일의 컨볼루션 모듈로 교체하면 성능 저하가 심각하게 발생하여 아키텍처 간의 호환성 문제를 시사한다.
• 향상된 융합 모듈은 낮은 계산 비용(10.8 GFLOPs)을 유지하면서 정확도를 향상시켜 효율성과 효과성을 동시에 입증한다.