[논문 리뷰] End-to-End Speech Recognition: A review for the French Language

Florian Boyer, Jean-Luc Rouas|arXiv (Cornell University)|2019. 10. 18.

Speech Recognition and Synthesis참고 문헌 30인용 수 7

한 줄 요약

이 논문은 프랑스어를 대상으로 문자 및 서브워드 유닛을 사용하는 엔드 투 엔드 음성 인식(ASR) 시스템을 평가하며, CTC, 주목적 기반 모델, RNN-Transducer, 하이브리드 아키텍처를 비교한다. 문자 수준 출력을 사용하는 RNN-Transducer가 가장 뛰어난 성능을 보였으며, CER 7.8%, WER 17.6%를 기록했고, 서브워드 유닛은 프랑스어의 발음 모호성과 유음어 문제에 대한 강건성을 향상시켰다.

ABSTRACT

Recently, end-to-end ASR based either on sequence-to-sequence networks or on the CTC objective function gained a lot of interest from the community, achieving competitive results over traditional systems using robust but complex pipelines. One of the main features of end-to-end systems, in addition to the ability to free themselves from extra linguistic resources such as dictionaries or language models, is the capacity to model acoustic units such as characters, subwords or directly words; opening up the capacity to directly translate speech with different representations or levels of knowledge depending on the target language. In this paper we propose a review of the existing end-to-end ASR approaches for the French language. We compare results to conventional state-of-the-art ASR systems and discuss which units are more suited to model the French language.

연구 동기 및 목표

• 엔드 투 엔드 ASR 모델의 성능을 프랑스어 언어에서 평가하고, 음성 단위 표현 방식의 선택에 초점을 맞춘다.
• CTC, 주목적, RNN-Transducer 등의 순서-순서 모델과 하이브리드 아키텍처(공동 CTC-주목적, 주목적 강화 RNN-Transducer)의 오류율 및 오류 분포 측면에서의 비교를 수행한다.
• 표기 단위—문자 또는 서브워드—가 프랑스어의 발음 및 어휘적 과제(예: 침묵 자음, 유음어, 아고트)에 미치는 영향을 조사한다.
• 다양한 아키텍처와 단위 유형에서 언어 모델의 오류율 감소 효과를 평가한다.
• 각 모델 유형의 강점과 약점을 파악하기 위해 문자 수준 및 단어 수준의 오류 패턴을 분석한다.

제안 방법

• 조건부 독립성 가정과 빈 토큰을 사용한 정렬을 위한 커넥티스트 타임클래식리케이션(CTC)을 사용하여 순서-순서 모델링을 수행한다.
• 에코더와 디코더 상태 간의 소프트 정렬을 사용한 주목적 기반 디코딩을 적용하며, 에코더의 은닉 상태에 대한 가중 평균을 통해 컨텍스트 벡터를 계산한다.
• RNN-Transducer는 CTC 방식의 단조로운 정렬과 출력 의존성 모델링을 위한 예측 네트워크를 결합하여 CTC보다 더 나은 순서 모델링 성능을 제공한다.
• 하이브리드 모델—공동 CTC-주목적, 주목적 강화 RNN-Transducer—를 도입하여 두 아키텍처의 장점을 융합한다.
• 외부 언어 모델 유무에 따라 문자 및 서브워드 유닛을 사용하여 프랑스어 ASR 데이터셋에서 모델을 훈련한다.
• 표준 평가 지표인 문자 오류율(CER), 단어 오류율(WER), 그리고 삽입, 삭제, 치환 오류에 대한 세부 오류 분석을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CTC, 주목적, RNN-Transducer, 하이브리드 아키텍처 중 어느 엔드 투 엔드 ASR 아키텍처가 프랑스어 ASR 작업에서 가장 뛰어난 성능을 보이는가?
• RQ2 문자 수준 표현과 서브워드 수준 표현은 프랑스어의 발음 및 어휘적 복잡성에 대해 어떻게 비교되는가?
• RQ3 다양한 엔드 투 엔드 아키텍처에서 언어 모델을 추가함으로써 오류 감소에 어떤 영향을 미치는가?
• RQ4 프랑스어 ASR에서 오류 분포(삽입, 삭제, 치환)는 모델 및 단위 유형에 따라 어떻게 달라지는가?
• RQ5 공동 CTC-주목적 또는 주목적 강화 RNN-Transducer와 같은 하이브리드 모델이 프랑스어 고유의 과제에 대해 얼마나 강건한가?

주요 결과

• 문자 수준 출력을 사용하는 RNN-Transducer가 가장 낮은 CER(7.8%)와 WER(17.6%)를 기록하여 모든 지표에서 다른 모델을 압도했다.
• 서브워드 유닛은 대부분의 모델에서 오류를 크게 감소시켰으며, 특히 유음어나 침묵 자음과 같은 모호한 패턴 처리에 효과적이었다.
• 공동 CTC-주목적 모델은 순수 주목적 모델 대비 치환 오류와 삽입 오류를 줄였고, 서브워드 오류율 14.5%를 기록하여 모든 방법 중에서 가장 낮았다.
• 추가 주목적 모듈이 있는 RNN-Transducer는 문자 및 서브워드 유닛에서 동일한 성능을 보였으며, 단위 유형 간 강력한 일반화 능력을 보였다.
• 언어 모델은 전반적인 오류율 감소에 기여했지만, CTC 모델에서는 삽입 오류가 다소 증가(1.4%에서 2.3%로)했고, RNN-Transducer 변종에서는 삭제 오류가 증가(4.1%에서 4.3%로)했다.
• 오류 패턴은 상당히 다를 수 있었다: 순수 주목적 모델은 삽입 오류(3.6%)와 치환 오류가 높았고, CTC 모델은 삽입 오류가 적었지만 삭제 오류가 더 높았다. 하이브리드 모델은 이러한 트레이드오���을 효과적으로 균형 잡았다.