[논문 리뷰] A Comparison of Label-Synchronous and Frame-Synchronous End-to-End Models for Speech Recognition

Linhao Dong, Yi Cheng외 5명|arXiv (Cornell University)|2020. 05. 20.

Speech Recognition and Synthesis참고 문헌 34인용 수 16

한 줄 요약

이 논문은 레이블 동기화(Transformer) 및 프레임 동기화(CIF 기반) 엔드 투 엔드 ASR 모델을 여러 데이터셋, 특히 12,000시간 분량의 코퍼스를 포함해 비교한다. 프레임 동기화 모델은 추론 속도가 4.4–6.8배 빠르며, 긴, 반복적인, 노이즈가 많은 발화에서 더 나은 일반화 성능을 보인다. 반면, Transformer 모델은 더 나은 문맥 활용 능력 덕분에 표준 벤치마크에서 略적으로 높은 정확도를 기록한다.

ABSTRACT

End-to-end models are gaining wider attention in the field of automatic speech recognition (ASR). One of their advantages is the simplicity of building that directly recognizes the speech frame sequence into the text label sequence by neural networks. According to the driving end in the recognition process, end-to-end ASR models could be categorized into two types: label-synchronous and frame-synchronous, each of which has unique model behaviour and characteristic. In this work, we make a detailed comparison on a representative label-synchronous model (transformer) and a soft frame-synchronous model (continuous integrate-and-fire (CIF) based model). The results on three public dataset and a large-scale dataset with 12000 hours of training data show that the two types of models have respective advantages that are consistent with their synchronous mode.

연구 동기 및 목표

• 레이블 동기화 및 프레임 동기화 엔드 투 엔드 ASR 모델 간의 성능 트레이드오프를 분석하고 비교하는 것.
• 모델 아키텍처가 긴, 반복적이고 노이즈가 많은 발화와 같은 도전적인 조건에서 추론 속도, 정확도, 내성성에 미치는 영향을 평가하는 것.
• 다양한 음성 인식 시나리오에서 각 모델 유형의 일반화 능력을 평가하는 것.
• 지연 시간과 내성성과 같은 구현 요구사항을 바탕으로 적절한 엔드 투 엔드 모델을 선택하는 데 실용적인 지침을 제공하는 것.

제안 방법

• 연구는 디코더의 순차적 토큰 생성에 기반한 레이블 동기화 모델의 대표로 Transformer 모델을 사용한다.
• 연속적 임펄스-적재-화염(CIF) 기반 모델은 소리 프레임을 순차적으로 처리하고, 음향 특징에 대해 동적 통합 메커니즘을 사용하는 소프트 프레임 동기화 모델로 활용된다.
• 두 모델 모두 자기주의 주의 네트워크(SAN)를 사용하는 인코더-디코더 프레임워크를 따르지만, 정렬 전략에서 다름: Transformer는 어텐션 기반, CIF는 프레임 인식 통합 기반이다.
• 모델들은 세 개의 공개 데이터셋과 대규모 12,000시간 데이터셋에서 훈련 및 평가되며, 표준화된 테스트 분할과 WER, 추론 속도, 오류 유형 등의 메트릭이 사용된다.
• 내성성 평가를 위해 특수 테스트 세트를 구성하였다: 같은 화자로부터 연결된 긴 발화, 반복 발화(1×에서 4×), SNR 0–20 dB 범위의 노이즈가 첨가된 발화.
• 성능 분석은 단어 오류율(WER), 삭제/삽입 오류율, 입력 길이에 따른 추론 시간 스케일링을 통해 수행된다.

실험 결과

연구 질문

• RQ1 표준 및 도전적인 테스트 세트에서 레이블 동기화(Transformer) 및 프레임 동기화(CIF 기반) 모델의 단어 오류율(WER)은 어떻게 비교되는가?
• RQ2 입력 길이가 각 모델 유형의 성능에 미치는 영향은 무엇이며, 특히 긴 발화 상황에서 어떻게 나타나는가?
• RQ3 반복적인 발화가 각 모델의 추론 행동과 오류 패턴에 미치는 영향은 무엇인가?
• RQ4 노이즈 조건 하에서 두 모델의 성능는 어떻게 되며, 이는 각 모델의 내성성에 대해 무엇을 드러내는가?
• RQ5 모델 아키텍처와 추론 속도 간의 관계는 무엇이며, 이는 실시간 적용 가능성에 어떻게 영향을 미치는가?

주요 결과

• Transformer 모델은 광범위한 음향 프레임에 주의를 기울일 수 있기 때문에, 대부분의 표준 데이터셋에서 略적으로 더 낮은 WER를 기록한다. 예를 들어, Librispeech test-clean에서 3.23%의 WER를 기록한다.
• CIF 기반 모델은 Transformer 대비 4.4–6.8배 더 빠른 추론 속도를 기록한다. 입력 길이에 따라 추론 시간은 선형적으로 증가하지만, Transformer의 경우 제곱적으로 증가한다.
• 긴 발화에서는 Transformer의 WER가 크게 증가한다(예: 4× Librispeech에서 50.50%), 주로 삭제 오류가 증가하기 때문이다. 반면, CIF 기반 모델은 안정적인 성능을 유지한다.
• 반복적인 발화에서는 Transformer의 WER가 4× AISHELL-2에서 152.92%로 급격히 상승한다. 이는 디코더 상태 혼동으로 인한 삽입 오류 때문이며, CIF 기반 모델은 오직 약간의 성능 저하(4×에서 6.78%)를 보인다.
• 노이즈가 첨가된 발화에서는 두 모델이 유사한 WER(약 18.2%)를 기록하여 노이즈에 대한 내성성이 유사하게 나타나지만, CIF 기반 모델은 SNR 수준 간에 더 높은 일관성을 유지한다.
• CIF 기반 모델의 성능 안정성은 각 프레임별 처리 방식과 마지막 프레임에서 명확한 정지 신호를 내는 방식 덕분이며, 이는 순차적 생성 모델에서 발생하는 디코더 상태 혼동을 방지한다.