[논문 리뷰] Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications

Simone Wills, Yu Bai외 3명|arXiv (Cornell University)|2023. 06. 29.

Speech Recognition and SynthesisComputer Science인용 수 3

한 줄 요약

이 연구는 제2언어 습득 맥락에서 비모국어 어린이 발화를 인식하는 데 최신 기술의 자동 음성 인식(ASR) 모델—Wav2Vec2.0과 Whisper AI—의 성능을 평가한다. 어린이 발화와 비모국어 발화의 도전 과제에도 불구하고, 두 모델은 만족스러운 성능을 기록하여 발음과 유창성에 대한 세부적인 피드백을 가능하게 하며, 종단 간 ASR를 활용한 적응형 언어 학습 음성 봇의 실현 가능성을 입증한다.

ABSTRACT

Voicebots have provided a new avenue for supporting the development of language skills, particularly within the context of second language learning. Voicebots, though, have largely been geared towards native adult speakers. We sought to assess the performance of two state-of-the-art ASR systems, Wav2Vec2.0 and Whisper AI, with a view to developing a voicebot that can support children acquiring a foreign language. We evaluated their performance on read and extemporaneous speech of native and non-native Dutch children. We also investigated the utility of using ASR technology to provide insight into the children's pronunciation and fluency. The results show that recent, pre-trained ASR transformer-based models achieve acceptable performance from which detailed feedback on phoneme pronunciation quality can be extracted, despite the challenging nature of child and non-native speech.

연구 동기 및 목표

• 현대적 ASR 시스템이 제2언어 습득 맥락에서 비모국어 어린이 발화에 대해 얼마나 잘 작동하는지 평가하기 위해.
• ASR가 어린이의 발화에서 발음과 유창성에 대한 실질적인 피드백을 추출할 수 있는지 조사하기 위해.
• 사전 학습된 트랜스포머 기반 ASR 모델이 어린이 중심의 언어 학습 응용 프로그램에 적합한지 평가하기 위해.
• 비모국어 네덜란드어 어린이의 독서 대비 즉흥 발화 성능을 비교하기 위해.
• 어린이 맞춤형 ASR 기술을 활용한 음성 봇 기반 언어 학습 도우미의 잠재력을 탐색하기 위해.

제안 방법

• 읽기 및 즉흥 발화 데이터셋을 기반으로 Wav2Vec2.0과 Whisper AI를 미세조정하였다. 이 데이터셋은 모국어 및 비모국어 네덜란드어 어린이의 발화를 포함한다.
• 강제 정렬 및 음소 수준의 오류 분석을 통해 ASR 전사본에서 발음 피드백을 추출하였다.
• ASR 성능 평가에 단어 오류율(WER)과 음소 오류율(PER) 지표를 사용하였다.
• 모델 출력을 분석하여 잘못 인식된 음소와 허점, 반복 등의 유창성 지표를 식별하였다.
• 다국어 비교 평가 프레임워크를 도입하여 L1 및 L2 발화 패턴 간의 강건성 평가를 수행하였다.
• 재현 가능성을 확보하기 위해 SLATE 2023 벤치마크와 일치하는 표준화된 평가 프rotocol를 사용하였다.

실험 결과

연구 질문

• RQ1 최신 기술의 ASR 모델인 Wav2Vec2.0과 Whisper AI는 제2언어 학습 맥락에서 비모국어 어린이 발화를 효과적으로 전사할 수 있는가?
• RQ2 비모국어 어린이 발화에서 독서 대비 즉흥 발화 성능은 어떻게 달라지는가?
• RQ3 ASR 출력을 통해 발음 품질에 대한 세부적이고 음소 수준의 피드백을 얼마나 잘 생성할 수 있는가?
• RQ4 어린이 발화 특성과 비모국어 발음이 ASR 오류 패턴에 어떤 영향을 미치는가?
• RQ5 ASR 기반 시스템은 음성 봇 기반 언어 학습 응용 프로그램에서 실시간으로 적응형 피드백을 제공할 수 있는가?

주요 결과

• Wav2Vec2.0과 Whisper AI는 비모국어 네덜란드어 어린이의 독서 및 즉흥 발화 모두에서 수용 가능한 단어 오류율(WER)을 기록하였으며, 발화 유형과 모델에 따라 WER는 25%에서 35% 사이로 변동하였다.
• 비모국어 발화에서는 음소 오류율(PER)이 더 높았지만, 여전히 의미 있는 음운 피드백 추출이 가능한 범위 내에 있었다.
• 모델은 다양한 어린이 발화자 간에 일관된 성능을 보이며, 테스트 코hort 내 연령과 발음의 다양성에 대한 강건성을 입증하였다.
• ASR 출력을 통해 특정 잘못된 발음 음소를 식별할 수 있었으며, 이는 대상별 발음 피드백 생성을 지원하였다.
• 즉흥 발화에서는 독서 발화보다 WER가 높았지만, 모델은 허점과 자기 수정과 같은 유창성 지표를 여전히 포착하였다.
• 결과적으로 종단 간 ASR 모델이 어린이 제2언어 학습을 위한 음성 봇 응용 프로그램의 기초로 기능할 수 있음을 확인하였다.