[논문 리뷰] Transformer-based Automatic Speech Recognition of Formal and Colloquial Czech in MALACH Project

Jan Lehečka, Josef Psutka외 1명|arXiv (Cornell University)|2022. 06. 15.

Speech Recognition and Synthesis참고 문헌 19인용 수 3

한 줄 요약

이 논문은 Wav2Vec 2.0 기반의 엔드 투 엔드 ASR 모델이 명시적인 발음 또는 어휘 정렬 없이도 구어체 체스크어를 공식 문어체로 직접 변환할 수 있는 능력을 조사한다. 모델는 원시 음성과 공식 문어체 번역본에 대한 피니튜닝을 통해 구어체 음성과 공식 문장 간의 매핑을 학습하며, 기존의 LVCSR 시스템을 뛰어넘는 뛰어난 성능을 달성하고 복잡한 규칙 기반 후처리나 모호한 구어체 번역이 필요 없어진다.

ABSTRACT

Czech is a very specific language due to its large differences between the formal and the colloquial form of speech. While the formal (written) form is used mainly in official documents, literature, and public speeches, the colloquial (spoken) form is used widely among people in casual speeches. This gap introduces serious problems for ASR systems, especially when training or evaluating ASR models on datasets containing a lot of colloquial speech, such as the MALACH project. In this paper, we are addressing this problem in the light of a new paradigm in end-to-end ASR systems -- recently introduced self-supervised audio Transformers. Specifically, we are investigating the influence of colloquial speech on the performance of Wav2Vec 2.0 models and their ability to transcribe colloquial speech directly into formal transcripts. We are presenting results with both formal and colloquial forms in the training transcripts, language models, and evaluation transcripts.

연구 동기 및 목표

• 공식어와 구어체가 언어적으로 구별되는 체스크어 음성 자료를 활용해 ASR 시스템을 훈련시키는 데 도전하는 것. 이는 기존 모델이 처리하기 어려운 문제를 포함한다.
• 자기학습 기반 Wav2Vec 2.0 모델이 수동적인 발음 또는 어휘 정렬 없이도 구어체 체스크어를 직접 공식 문어체 번역으로 매핑할 수 있는지 평가하는 것.
• 공식어 번역본과 구어체 번역본에 기반한 모델의 성능를 비교하고 언어 모델이 인식 정확도에 미치는 영향을 평가하는 것.
• 엔드 투 엔드 Wav2Vec 2.0 모델이 구어체 ASR 출력에 규칙 기반 후처리보다 더 잘 일반화하는지 조사하는 것.
• 공식 번역본만으로도 효과적인 피니튜닝이 가능하며, 이는 데이터 수집과 표기 작업을 단순화할 수 있음을 보여주는 것.

제안 방법

• MALACH 프로젝트에서 제공하는 원시 음성과 공식 문어체 번역본을 기반으로 Wav2Vec 2.0 모델을 피니튜닝하였다. 이 프로젝트에는 공식어와 구어체 음성이 모두 포함되어 있다.
• 모델의 강건성과 일반화 능력을 평가하기 위해 훈련, 언어 모델링, 평가 모두에서 공식어와 구어체 번역본을 사용하여 모델을 훈련하고 평가하였다.
• 빔 서치 디코딩을 적용하였으며, 공식어 기반 언어 모델(LMformal)과 구어체 기반 언어 모델(LMcolloq)을 각각 사용하였다.
• 엔드 투 엔드 공식 번역과 비교하기 위해 구어체 모델 출력에 규칙 기반 공식화 후처리(FP) 단계를 구현하였다.
• 시퀀스 변환을 위해 CTC 기반 디코딩을 사용하여, 모델이 음성 프레임과 출력 토큰 간의 정렬을 학습할 수 있도록 하였다.
• 공식어 및 구어체 테스트 세트에서 WER(단어 오류율)와 CER(문자 오류율)를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 Wav2Vec 2.0 모델은 명시적인 정렬 또는 발음 모델링 없이도 구어체 체스크어를 직접 공식 문어체로 변환할 수 있는가?
• RQ2 훈련에 사용된 번역본의 종류(공식어 대비 구어체)가 공식어 및 구어체 테스트 세트에서 모델의 성능에 어떤 영향을 미치는가?
• RQ3 원시 음성과 공식 번역본에 기반한 엔드 투 엔드 훈련이 구어체 모델 출력에 대한 규칙 기반 후처리보다 더 잘 일반화하는가?
• RQ4 음성 변동이 존재하는 상황에서 공식어 대비 구어체 언어 모델의 선택이 인식 정확도에 어떤 영향을 미치는가?
• RQ5 Wav2Vec 2.0 모델이 훈련 중에 볼 수 없었던 구어체 어휘를 공식 번역으로 일반화하는 데 얼마나 잘 적응하는가?

주요 결과

• 원시 음성과 공식 번역본에 기반해 피니튜닝된 Wav2Vec 2.0 모델은 공식 테스트 세트에서 WER 10.48%를 기록하였으며, 최고의 LVCSR 시스템(14.71% WER)을 능가하였다.
• 구어체 번역본에 기반해 훈련된 모델(W2Vcolloq)은 구어체 테스트 세트에서 WER 11.55%를 기록하였으며, LVCSR 기준선(14.71% WER)을 크게 뛰어넘었다.
• 공식 번역본에 기반해 훈련된 W2Vformal 모델는 공식 테스트 세트에서 약간 높은 오류율(11.52% WER)을 보였지만, 규칙 기반 공식화에 포함되지 않은 새로운 구어체 형태를 정확히 변환함으로써 뛰어난 일반화 능력을 보였다.
• 규칙 기반 공식화 후처리(W2Vcolloq+FP)는 W2Vformal과 유사한 오류율을 보였지만, 기준 번역 오류로 인해 잘못된 예측(거짓 긍정)이 빈번하게 발생하여 더 낮은 강건성을 보였다.
• W2Vformal 모델의 경우 기준 번역 오류가 존재하는 상황에서도 볼 수 없었던 구어체 어휘를 정확히 예측함으로써, 규칙 기반 방법보다 더 강력한 언어 일반화 능력을 입증하였다.
• 본 연구는 공식 번역본만으로도 효과적인 피니튜닝이 가능함을 확인하였으며, 이는 구어체 번역 또는 수동 규칙 생성이 필요 없이 더 단순하고 명확한 데이터 수집이 가능함을 의미한다.