[논문 리뷰] FastCorrect: Fast Error Correction with Edit Alignment for Automatic Speech Recognition

Yichong Leng, Xu Tan외 8명|arXiv (Cornell University)|2021. 05. 09.

Natural Language Processing Techniques참고 문헌 35인용 수 29

한 줄 요약

FastCorrect는 비자기회귀 ASR 오류 수정 모델로, 편집 거리 기반 정렬을 사용해 오류를 탐지하고 수정합니다. 자동회귀 수정 대비 큰 지연 감소(6-9배)와 경쟁력 있는 WER 감소(8-14%)를 달성합니다.

ABSTRACT

Error correction techniques have been used to refine the output sentences from automatic speech recognition (ASR) models and achieve a lower word error rate (WER) than original ASR outputs. Previous works usually use a sequence-to-sequence model to correct an ASR output sentence autoregressively, which causes large latency and cannot be deployed in online ASR services. A straightforward solution to reduce latency, inspired by non-autoregressive (NAR) neural machine translation, is to use an NAR sequence generation model for ASR error correction, which, however, comes at the cost of significantly increased ASR error rate. In this paper, observing distinctive error patterns and correction operations (i.e., insertion, deletion, and substitution) in ASR, we propose FastCorrect, a novel NAR error correction model based on edit alignment. In training, FastCorrect aligns each source token from an ASR output sentence to the target tokens from the corresponding ground-truth sentence based on the edit distance between the source and target sentences, and extracts the number of target tokens corresponding to each source token during edition/correction, which is then used to train a length predictor and to adjust the source tokens to match the length of the target sentence for parallel generation. In inference, the token number predicted by the length predictor is used to adjust the source tokens for target sequence generation. Experiments on the public AISHELL-1 dataset and an internal industrial-scale ASR dataset show the effectiveness of FastCorrect for ASR error correction: 1) it speeds up the inference by 6-9 times and maintains the accuracy (8-14% WER reduction) compared with the autoregressive correction model; and 2) it outperforms the popular NAR models adopted in neural machine translation and text edition by a large margin.

연구 동기 및 목표

• 온라인 서비스의 낮은 지연으로 빠른 ASR 오류 수정의 필요성을 제시한다.
• 편집 거리 기반 정렬을 활용하여 비자기회귀 보정을 안내한다.
• 큰 가상 보정 데이터에서 사전 학습하고 실제 ASR 보정 데이터로 미세 조정한다.
• AISHELL-1과 대규모 내부 만다린어 ASR 데이터셋에서 속도 향상과 정확도 향상을 입증한다.

제안 방법

• 최소 편집 거리 기반의 ASR 출력과 실제 정답 보정 간의 편집 정렬을 도입하고, n-그램 빈도 기반의 최적 정렬 선택을 수행한다.
• 길이 예측기를 갖춘 Transformer 기반 NAR 인코더-디코더를 사용하여 각 소스 토큰에 대해 정렬될 타깃 토큰의 수를 예측한다(삭제는 0, 치환/미수정은 1, 삽입은 >1).
• 길이 예측기를 MSE 손실로 학습시키고 이를 사용해 소스 토큰을 정렬하여 병렬 타깃 시퀀스 생성을 수행한다.
• 동음어 정보를 고려한 노이즈 생성 프로세스를 사용해 텍스트를 편집하여 만든 대규모 pseudo correction 데이터셋으로 FastCorrect를 사전 학습한 뒤 실제 ASR 보정 데이터로 미세 조정한다.
• GPU 및 CPU 전반에서 WER 감소 및 지연 시간 측면에서 AR 보정 및 다른 NAR 모델(LevT, FELIX)과 비교한다.

실험 결과

연구 질문

• RQ1 편집 정렬에 의해 가이드되는 비자기회귀 오류 수정 모델이 AR 모델과 비슷한 WER 감소를 달성하면서도 지연 시간을 크게 줄일 수 있는가?
• RQ2 편집 정렬을 통한 삽입/삭제/치환 패턴 활용이 ASR 오류 수정에서 기존 NAR 접근 방식보다 보정 품질을 향상시키는가?
• RQ3 제한된 ASR 보정 데이터에 대해 미세 조정할 때 pseudo correction 데이터로의 사전 학습이 성능에 어떤 영향을 미치는가?
• RQ4 공개 데이터와 산업 규모의 만다린 ASR 데이터셋에서 FastCorrect의 지연 시간과 정확도 간의 트레이드오프는 어떠한가?

주요 결과

• FastCorrect는 AISHELL-1 및 내부 데이터셋에서 AR 보정 대비 6-9배의 추론 속도 향상을 제공합니다.
• FastCorrect는 보정 없음 대비 8-14% WER 감소(WERR)를 달성하며, 두 데이터셋 모두에서 AR 모델 성능에 근접합니다.
• FastCorrect는 WERR 및 오류 수정 품질에서 LevT 및 FELIX를 큰 차이로 능가합니다.
• 제거 실험은 편집 정렬(길이 예측기)과 사전 학습이 강한 WER 감소를 달성하는 데 중요함을 보여줍니다.
• 깊은 인코더와 얕은 디코더를 가진 AR 모델과 비교할 때 FastCorrect는 비슷하거나 더 나은 정확도와 현저히 더 낮은 지연 시간을 제공합니다.
• Table 1은 FastCorrect가 4.16 WER (AISHELL-1, Test) 및 10.27 WER (Internal, Test)을 달성하고 주목할 만한 지연 시간 감소를 나타내며; Table 4는 기준치에 비해 더 높은 P_right와 비례하는 P_edit/R_edit를 보고합니다.