[논문 리뷰] A Transformer with Interleaved Self-attention and Convolution for Hybrid Acoustic Models

Liang Lu|arXiv (Cornell University)|2019. 10. 23.

Speech Recognition and Synthesis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 트랜스포머 아키텍처에서 자기주의(attention)와 1D 컨볼루션 레이어를 번갈아가며 배치한 하이브리드 음향 모델을 제안하며, Librispeech에서 수렴 속도 향상과 인식 정확도 향상을 달성한다. 모델은 발화자 적응이나 데이터 증강 없이도 Kaldi의 TDNN 기준선 수준의 경쟁력 있는 성능을 달성하여 아키텍처의 번갈아 배치가 음성 인식에 효과적임을 입증한다.

ABSTRACT

Transformer with self-attention has achieved great success in the area of nature language processing. Recently, there have been a few studies on transformer for end-to-end speech recognition, while its application for hybrid acoustic model is still very limited. In this paper, we revisit the transformer-based hybrid acoustic model, and propose a model structure with interleaved self-attention and 1D convolution, which is proven to have faster convergence and higher recognition accuracy. We also study several aspects of the transformer model, including the impact of the positional encoding feature, dropout regularization, as well as training with and without time restriction. We show competitive recognition results on the public Librispeech dataset when compared to the Kaldi baseline at both cross entropy training and sequence training stages. For reproducible research, we release our source code and recipe within the PyKaldi2 toolbox.

연구 동기 및 목표

• 엔드 투 엔드 접근 방식보다 덜 연구된 하이브리드 음향 모델링에서 트랜스포머 기반 모델의 적용을 탐색한다.
• 자기주의와 컨볼루션 레이어를 통합하여 하이브리드 모델의 학습 안정성과 장거리 시퀀스 모델링 문제를 해결한다.
• 하이브리드 환경에서 위치 인코딩, 드롭아웃, 시간 제약 조건이 모델 성능에 미치는 영향을 조사한다.
• 순수 자기주의 모델 대비 자기주의와 컨볼루션의 번갈아 배치가 수렴 속도와 인식 정확도 향상에 기여함을 입증한다.
• PyKaldi2를 통한 재현 가능한 구현을 제공하여 향후 하이브리드 트랜스포머 모델 연구를 지원한다.

제안 방법

• 자기주의와 1D 컨볼루션 레이어를 인코더 스택 내에서 번갈아 배치하여 국소적 특징 학습과 장거리 의존성 모델링의 균형을 이루는 트랜스포머 아키텍처를 설계한다.
• 각 서브레이어(다중 헤드 자기주의 및 피드포워드 네트워크) 후에 배치 정규화를 적용하고 잔차 연결을 사용하여 학습 안정성을 높인다.
• 시그모이드 위치 인코딩을 사용하여 순서 정보를 입력 임bedding에 통합함으로써 모델이 상대적 위치 의존성을 학습할 수 있도록 한다.
• 정렬성과 일반화 성능 향상을 위해 교차 엔트로피(CE)와 최대 상호정보량(MMI) 기준을 사용한 시퀀스 학습을 병행하여 모델을 학습시킨다.
• 자기주의의 컨텍스트 윈도우를 고정된 프레임 수로 제한하여 시간 제약 조건을 적용함으로써 계산 비용을 줄이고 학습 안정성을 향상시킨다.
• 다중 헤드 자기주의(8개 헤드), d_model=256, d_ff=1024, 드롭아웃 비율 0.1을 사용한 6층 인코더를 사용한다.

실험 결과

연구 질문

• RQ1 트랜스포머 인코더에서 자기주의와 컨볼루션을 번갈아 사용할 경우, 하이브리드 음향 모델의 수렴 속도와 인식 정확도에 어떤 영향을 미치는가?
• RQ2 위치 인코딩과 드롭아웃 정규화가 자기주의 기반 하이브리드 모델의 성능에 미치는 영향은 무엇인가?
• RQ3 전체 시퀀스 자기주의 대비 시간 제약 조건이 적용된 자기주의로 학습할 경우, 모델 안정성과 인식 성능 향상이 이루어지는가?
• RQ4 순수 트랜스포머 기반 하이브리드 모델이 발화자 수준의 적응이나 데이터 증강 없이도 강력한 Kaldi 기반 TDNN 기준선 수준의 성능을 달성할 수 있는가?
• RQ5 MMI 기준으로 시퀀스 학습을 수행했을 때 모델의 성능는 어떠한가? 그리고 노이즈가 있는 테스트 세트에 대해 일반화 능력이 우수한가?

주요 결과

• 자기주의와 컨볼루션을 번갈아 사용한 모델은 순수 자기주의 모델보다 더 빠른 수렴 속도와 높은 인식 정확도를 달성했다.
• Librispeech test-other 세트에서 CE로 학습한 트랜스포머 모델은 WER 11.8%를 기록했으며, Kaldi TDNN 기준선(CE 기준 12.1%, sMBR 기준 11.3%)과 유사한 성능을 보였다.
• MMI 기준으로 시퀀스 학습을 수행한 후, 트랜스포머 모델은 test-other 세트에서 WER를 11.1%로 감소시켜 동일한 분할에서 Kaldi TDNN 시스템보다 우수한 성능을 보였다(sMBR 기준 11.3%).
• 자기주의의 미래 컨텍스트를 제한된 윈도우를 초과해 늘릴 경우, CE 손실은 감소했지만 WER 향상은 없었으며, 이는 과적합 또는 주의 헤드의 비일치 가능성 존재를 시사한다.
• 시간 제약 조건이 적용된 자기주의를 사용한 모델는 전체 자기주의 버전보다 약간 열악한 성능을 보였지만, 그 차이는 미미하여 국소적 컨텍스트만으로도 우수한 성능 달성이 가능함을 시사한다.
• i-vector 적응이나 속도 펌프팅을 사용하지 않음에도 불구하고 경쟁력 있는 성능를 달성하여 제안된 아키텍처의 강건성을 입증한다.