[논문 리뷰] Streaming Chunk-Aware Multihead Attention for Online End-to-End Speech Recognition

Shiliang Zhang, Zhifu Gao외 5명|arXiv (Cornell University)|2020. 05. 21.

Speech Recognition and Synthesis참고 문헌 31인용 수 13

한 줄 요약

이 논문은 온라인 엔드 투 엔드 음성 인식을 위한 스트리밍 청크 인식 다중헤드 어텐션(SCAMA)과 지연 시간 제어 기능을 갖춘 메모리 장착 자기어텐션 네트워크(LC-SAN-M)를 제안한다. 청크 수준의 인코더 상태를 기반으로 디코더 출력을 제어하는 공동 학습된 예측기 덕분에 SCAMA는 최소한의 성능 저하로 낮은 지연 시간을 보장하는 스트리밍 추론을 가능하게 하였으며, 외부 언어 모델 없이 AISHELL-1에서 7.39%의 최고 성능 CER를 달성하였다.

ABSTRACT

Recently, streaming end-to-end automatic speech recognition (E2E-ASR) has gained more and more attention. Many efforts have been paid to turn the non-streaming attention-based E2E-ASR system into streaming architecture. In this work, we propose a novel online E2E-ASR system by using Streaming Chunk-Aware Multihead Attention(SCAMA) and a latency control memory equipped self-attention network (LC-SAN-M). LC-SAN-M uses chunk-level input to control the latency of encoder. As to SCAMA, a jointly trained predictor is used to control the output of encoder when feeding to decoder, which enables decoder to generate output in streaming manner. Experimental results on the open 170-hour AISHELL-1 and an industrial-level 20000-hour Mandarin speech recognition tasks show that our approach can significantly outperform the MoChA-based baseline system under comparable setup. On the AISHELL-1 task, our proposed method achieves a character error rate (CER) of 7.39%, to the best of our knowledge, which is the best published performance for online ASR.

연구 동기 및 목표

• 전체 시퀀스 어텐션은 스트리밍이 불가능하여 실용적이지 않은데, 이를 해결하기 위해 스트리밍 엔드 투 엔드 ASR에 전체 어텐션 메커니즘을 적용하는 데 도전한다.
• 창크 크기나 임계값 설정과 같은 고정된 초모수로 인해 발생하는 온라인 어텐션 메커니즘의 성능 저하를 줄이기 위해, 실제 환경에서의 강건성을 확보한다.
• 동적이고 학습 가능한 청크 기반 제어를 통해 강력한 맥락 모델링을 유지하면서도 낮은 지연 시간 추론을 가능하게 하는 스트리밍 어텐션 메커니즘을 개발한다.
• 특히 대규모 산업용 데이터셋에서 외부 언어 모델에 의존하지 않고도 온라인 ASR에서 최고 성능을 달성한다.

제안 방법

• LC-SAN-M은 메모리 장착 자기어텐션(SAN-M)의 지연 시간 제어 버전으로, 인코더 출력이 청크 수준의 입력에 의해 제약을 받음으로써 지연 시간을 제어한다.
• SCAMA는 공동 학습된 예측기를 사용하여 입력 청크당 토큰 수를 추정함으로써 동적 디코더 활성화를 가능하게 하는 스트리밍 다중헤드 어텐션 메커니즘을 도입한다.
• 예측기는 CTC 손실이 아닌 교차 엔트로피 손실로 학습되며, CTC 기반 트리거링 방법과 비교해 학습과 추론 간의 불일치를 감소시킨다.
• SCAMA는 향후 맥락을 제한하기 위해 관련이 있는 인코더 청크들만 참조함으로써 장거리 의존성을 유지하면서도 스트리밍 기능을 유지한다.
• 표준 트랜스포머 기반 인코더-디코더 아키텍처를 사용하지만, 디코딩 중에 청크 인식 마스킹과 동적 어텐션 제어를 적용한다.
• 모델은 인코더, 디코더, 토큰 예측 헤드를 종합 최적화하여 엔드 투 엔드로 학습되며, 외부 감독 없이도 정렬과 맥락 모델링이 가능하다.

실험 결과

연구 질문

• RQ1 학습 가능한 청크 인식 어텐션 메커니즘이 고정 임계값 또는 창크 기반 어텐션보다 온라인 ASR에서 성능 저하를 줄일 수 있는가?
• RQ2 교차 엔트로피로 학습된 예측기로 CTC 기반 트리거링을 대체하면 스트리밍 ASR의 추론 강건성과 성능이 향상되는가?
• RQ3 SCAMA는 스트리밍 환경에서 비스트리밍 성능에 가까운 성능을 달성하면서도 낮은 지연 시간을 유지할 수 있는가?
• RQ4 대규모 산업용 ASR 작업에서 SCAMA는 MoChA 및 기타 온라인 어텐션 메커니즘과 비교해 어떻게 성능을 내는가?

주요 결과

• 170시간 분량의 AISHELL-1 데이터셋에서 제안된 SCAMA 기반 시스템은 문자 오류율(CER)이 7.39%를 기록하였으며, 저자들에 따르면 외부 언어 모델 없이 온라인 엔드 투 엔드 ASR에서 최고 성능이다.
• 청크 크기가 10인 LC-SAN-M 인코더는 전체 시퀀스 어텐션 베이스라인 대비 7%의 상대적 성능 저하를 보였으며, 이는 지연 시간 제어가 약간의 측정 가능한 비용을 수반한다는 것을 시사한다.
• 전체 시퀀스 어텐션을 SCAMA로 대체하면 6.8%의 상대적 성능 저하가 발생하지만, 이는 MoChA 기반 시스템에서 관찰된 성능 저하보다 현저히 낮다.
• 20,000시간 분량의 산업용 중국어 ASR 작업에서 SCAMA 기반 시스템은 유사한 지연 시간 제약 조건 하에서 CTC 및 MoChA 기반 시스템을 모두 압도했다.
• 32장의 V100 GPU를 사용할 때 SCAMA 모델은 MoChA보다 3배 빠르게 학습되며, 이는 향상된 학습 효율성을 나타낸다.
• 시각화 결과는 전체 어텐션 메커니즘이 단순한 정렬을 넘어서 맥락 모델링을 수행한다는 것을 보여주며, 장거리 맥락을 유지하면서도 스트리밍을 가능하게 하는 메커니즘(예: SCAMA)의 필요성을 정당화한다.