[논문 리뷰] A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation

Yosuke Higuchi, Nanxin Chen외 7명|arXiv (Cornell University)|2021. 10. 11.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 ESPnet와 Conformer 아키텍처를 사용하여 엔드 투 엔드 음성-텍스트 변환을 위한 비자기적(NAR) 모델링 기법에 대한 종합적인 비교 연구를 제시한다. Mask-CTC, Align-Denoise, Insertion Transformers, CTC 기반 변종 등을 포함한 여러 NAR 방법을 ASR 및 음성 번역 작업에서 평가하였으며, 중간 CTC와 Mask-CTC를 조합하는 것과 같이 추론 비용을 증가시키지 않고도 정확도를 향상시킬 수 있음을 입증하였고, NAR 모델이 경쟁적인 성능을 보이며 음성 번역에 효과적으로 적용될 수 있음을 보여주었다.

ABSTRACT

Non-autoregressive (NAR) models simultaneously generate multiple outputs in a sequence, which significantly reduces the inference speed at the cost of accuracy drop compared to autoregressive baselines. Showing great potential for real-time applications, an increasing number of NAR models have been explored in different fields to mitigate the performance gap against AR models. In this work, we conduct a comparative study of various NAR modeling methods for end-to-end automatic speech recognition (ASR). Experiments are performed in the state-of-the-art setting using ESPnet. The results on various tasks provide interesting findings for developing an understanding of NAR ASR, such as the accuracy-speed trade-off and robustness against long-form utterances. We also show that the techniques can be combined for further improvement and applied to NAR end-to-end speech translation. All the implementations are publicly available to encourage further research in NAR speech processing.

연구 동기 및 목표

• 최신 기술 기반 환경에서 비자기적(NAR) 모델링 기법을 종합적으로 공정하게 비교하여 엔드 투 엔드 음성 인식(ASR)에 적용하는 것.
• 다양한 NAR 아키텍처 간 추론 속도와 인식 정확도 사이의 상충 관계를 분석하는 것.
• 장기 음성 및 노이지 음성 입력에서 NAR 모델의 내성에 대한 연구.
• 여러 NAR 기법을 조합하여 성능 향상을 이룰 수 있는지 탐색하는 것.
• NAR 모델의 적용 범위를 엔드 투 엔드 음성 번역(E2E-ST) 작업으로 확장하는 것.

제안 방법

• ESPnet 프레임워크 내에서 CTC, Mask-CTC, 개선된 Mask-CTC, Align-Denoise, Insertion Transformer, KERMIT, 중간 CTC, 자기조건부 CTC, CIF-NA를 포함한 총 13개의 NAR 모델 평가.
• 모든 모델에 대해 16kHz 워드피스 서브워드 단위를 사용한 Conformer 기반 인코더-디코더 아키텍처 적용.
• Align-Denoise 및 CMLM 기반 모델에서처럼 반복적 개선 및 개선 학습 기법을 적용하여 시퀀스 생성 성능 향상.
• 훈련 안정성 향상과 정렬 개선을 위해 중간 CTC 및 자기조건부 CTC와 같은 정규화 기법 통합.
• 시퀀스 수준 지식 정복 및 사전 학습된 자기적(AR) ASR 인코더를 활용하여 E2E-ST 미세조정.
• 속도-정확도 상충 관계 평가를 위해 프레임 수준 및 토큰 수준 처리 단위를 갖는 다단계 디코딩 구현.

Fig. 1 : Illustrations of autoregressive and non-autoregressive ASR.

실험 결과

연구 질문

• RQ1 표준 ASR 벤치마크에서 다양한 NAR 모델링 기법이 단어 오류율(WER)과 추론 속도 측면에서 어떻게 비교되는가?
• RQ2 노이지 및 장기 음성 입력이 NAR 모델의 내성에 어떤 영향을 미치는가?
• RQ3 Mask-CTC와 중간 CTC를 조합하는 것과 같이 여러 NAR 기법을 조합하면 추론 비용 증가 없이 성능 향상을 이룰 수 있는가?
• RQ4 자기적 기반 모델 대비 NAR 모델은 엔드 투 엔드 음성 번역(E2E-ST)에서 얼마나 효과적인가?
• RQ5 프로세싱 유닛(프레임 대 토큰) 또는 반복 횟수와 같은 NAR 아키텍처 구성 요소 중에서 성능에 가장 큰 영향을 미치는 것은 무엇인가?

주요 결과

• 중간 CTC로 미세조정한 Mask-CTC는 LS-100 테스트 세트에서 WER을 7.5%에서 7.2%로 감소시켜, 정규화 기법이 추론 비용을 증가시키지 않고도 NAR ASR의 정확도를 향상시킬 수 있음을 입증하였다.
• CHiME4 노이지 음성 벤치마크에서 모든 NAR 모델이 표준 CTC를 초월하였으며, Mask-CTC는 실제 음성에서 24.9%의 WER, 시뮬레이션 음성에서 25.8%의 WER를 기록하였다.
• 청결한 LS-100에서 자기조건부 CTC는 14.6%의 최저 WER를 기록하였고, Fisher-CallHome 스페인어 테스트 세트에서 Orthros는 20.7의 최고 BLEU 점수를 기록하여 E2E-ST에서 가장 높은 성능을 보였다.
• Mask-CTC와 중간 CTC의 조합은 LS-100에서 WER을 0.3점, CHiME4에서 0.8점 감소시켜, 아키텍처적 기법과 정규화 기법이 상호 보완적으로 작용할 수 있음을 보여주었다.
• NAR 모델은 저품질 및 노이지 입력에서 성능 저하를 보였으며, 이는 자기적 모델 대비 청각적 특징에 더 의존하고 토큰 간 의존성 모델링 능력이 떨어지기 때문임을 시사하였다.
• 사전 학습된 AR 인코더와 지식 정복 기법을 사용함으로써 NAR E2E-ST 성능이 크게 향상되었으며, Orthros는 NAR 모델 중에서 최고 수준의 성능을 기록하였다.

Fig. 2 : Comparison of NAR and AR (CTC/attention) models evaluated on different output sequence length. WERs are compared among the models (top), and the error components are compared between AR and Self-conditioned CTC (bottom).