[논문 리뷰] Exploring Transformers for Large-Scale Speech Recognition

Liang Lu, Changliang Liu외 2명|arXiv (Cornell University)|2020. 05. 19.

Speech Recognition and Synthesis참고 문헌 25인용 수 14

한 줄 요약

이 논문은 대규모 음성 인식에서 트랜스포머를 활용하는 것을 조사하며, 65,000시간의 훈련 데이터를 사용할 경우 오프라인 환경에서 BLSTM 대비 6% 상대적 WER 감소를 달성하는 깊이 있는 트랜스포머 모델을 제시한다. 스트리밍 환경에서는 800ms 지연 제약 조건 하에서 트랜스포머-XL이 LC-BLSTM 성능을 재현하며, 표준 주의력 마스크를 적용한 스트리밍 트랜스포머의 한계를 극복한다.

ABSTRACT

While recurrent neural networks still largely define state-of-the-art speech recognition systems, the Transformer network has been proven to be a competitive alternative, especially in the offline condition. Most studies with Transformers have been constrained in a relatively small scale setting, and some forms of data argumentation approaches are usually applied to combat the data sparsity issue. In this paper, we aim at understanding the behaviors of Transformers in the large-scale speech recognition setting, where we have used around 65,000 hours of training data. We investigated various aspects on scaling up Transformers, including model initialization, warmup training as well as different Layer Normalization strategies. In the streaming condition, we compared the widely used attention mask based future context lookahead approach to the Transformer-XL network. From our experiments, we show that Transformers can achieve around 6% relative word error rate (WER) reduction compared to the BLSTM baseline in the offline fashion, while in the streaming fashion, Transformer-XL is comparable to LC-BLSTM with 800 millisecond latency constraint.

연구 동기 및 목표

• 65,000시간의 훈련 데이터를 사용한 대규모 음성 인식에서 트랜스포머 성능 평가.
• 64개 GPU에 걸쳐 트랜스포머를 확장하는 데 있어 모델 초기화 및 온도 조절 훈련 기법 등 필수 기술 탐색.
• 지연 제약 조건 하에서 주의력 마스크를 적용한 스트리밍 트랜스포머 변형과 LC-BLSTM 간 성능 비교.
• 인식 정확도에 영향을 주는 모델 깊이, 너비 및 정규화 전략의 영향 조사.
• 스트리밍 트랜스포머가 오프라인 모델에 비해 성능이 열 劣하는 이유를 이해하고 효과적인 해결책 제안.

제안 방법

• 동기화 배치 정규화와 기울기 클리핑을 사용하여 최대 64개 GPU에서 데이터 병렬 처리를 통한 깊이 있는 트랜스포머 훈련.
• 모델의 안정성 향상을 위해 깊이 척도 초기화 및 학습률 온도 조절 기법 적용.
• 다중 헤드 자기주의 어텐션을 사용하며, 스케일드 닷프로덕트 어텐션을 적용: $\text{Attention}(Q,K,V) = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}})V$.
• 스트리밍 트랜스포머에서 순서 유지성을 보존하기 위해 교차 배치 컨볼루션 레이어 적용, 자기주의 어텐션의 순서 뒤섞임 효과 완화.
• 지난 청크의 은닉 상태를 지속적으로 유지하는 트랜스포머-XL 구현으로 장기적 맥락 모델링 구현, 맥락 범위 $[-40,40]$.
• 맥락 윈도우 제약 조건 설정: 오프라인에선 $[-\infty,\infty]$, 스트리밍에선 $[-40,40]$, LC-BLSTM 기준은 $[-1,40]$.

실험 결과

연구 질문

• RQ1 65,000시간의 데이터를 사용할 경우 트랜스포머가 대규모 음성 인식에서 BLSTM을 능가할 수 있는가?
• RQ2 대규모 환경에서 다수 GPU에 걸쳐 깊이 있는 트랜스포머를 확장하기 위해 필수적인 훈련 기법은 무엇인가?
• RQ3 표준 주의력 마스크를 적용한 스트리밍 트랜스포머가 오프라인 모델에 비해 성능이 열 劣하는 이유는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 엄격한 지연 제약 조건 하에서 트랜스포머-XL은 LC-BLSTM에 비해 스트리밍 음성 인식에서 어떻게 성능을 내는가?
• RQ5 모델의 깊이와 너비는 오프라인 및 스트리밍 환경에서 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 오프라인 환경에서 트랜스포머는 유사한 모델 크기의 BLSTM 기준선 대비 6% 상대적 WER 감소를 달성했다.
• 스트리밍 환경에서 트랜스포머-XL은 평가 세트에서 WER 12.2를 기록하며 800ms 지연 제약 조건 하에서 LC-BLSTM 성능을 재현했다.
• 교차 배치 컨볼루션을 적용하지 않은 주의력 마스크를 적용한 스트리밍 트랜스포머는 오프라인 모델 대비 18%~25% WER 악화를 겪었다.
• 교차 배치 컨볼루션 레이어 적용으로 스트리밍 트랜스포머의 WER 손실이 감소하였으며, 이는 입력 시퀀스의 순서 유지성 확보 덕분이었다.
• 더 깊은 트랜스포머(최대 48층)는 약간의 성능 향상을 보였으며, 이는 과적합 또는 더 강력한 정규화 필요성을 시사한다.
• 48층의 트랜스포머-XL은 개발 세트에서 WER 18.5를 기록하여, 더 나은 정규화 기법 적용 시 향후 성능 향상 잠재력이 있음을 시사한다.