[논문 리뷰] Leveraging End-to-End ASR for Endangered Language Documentation: An Empirical Study on Yoloxóchitl Mixtec

Jiatong Shi, Jonathan D. Amith외 4명|arXiv (Cornell University)|2021. 01. 26.

Natural Language Processing Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 말라든 언어 기록의 전사 병목 현상을 완화하기 위해 엔드 투 엔드 자동 음성 인식(ASR)과 초보 전사자들을 융합하는 하이브리드 접근법을 제안한다. 계층적 동적 정렬과 투표 기반 융합을 활용함으로써, Yoloxóchitl Mixtec에서 음운, 병음, 괾질 기호 오류에 대해 최대 87.5%까지 문자 오류율(CER)을 감소시켰으며, 이는 자동 음성 인식이 자원이 부족한 환경에서 초보 전사 오류를 효과적으로 수정할 수 있음을 보여준다.

ABSTRACT

"Transcription bottlenecks", created by a shortage of effective human transcribers are one of the main challenges to endangered language (EL) documentation. Automatic speech recognition (ASR) has been suggested as a tool to overcome such bottlenecks. Following this suggestion, we investigated the effectiveness for EL documentation of end-to-end ASR, which unlike Hidden Markov Model ASR systems, eschews linguistic resources but is instead more dependent on large-data settings. We open source a Yoloxóchitl Mixtec EL corpus. First, we review our method in building an end-to-end ASR system in a way that would be reproducible by the ASR community. We then propose a novice transcription correction task and demonstrate how ASR systems and novice transcribers can work together to improve EL documentation. We believe this combinatory methodology would mitigate the transcription bottleneck and transcriber shortage that hinders EL documentation.

연구 동기 및 목표

• 전문 전사자가 음성 기록의 양에 비해 뒤처지는 말라든 언어(EL) 기록의 전사 병목 현상을 해결하기 위해.
• 최소한의 훈련을 받은 모국어 사용자를 초보 전사자로 참여시켜 전사자 부족 문제를 해결하기 위해.
• 표준화된 철자법과 언어학적 자원이 없는 저자원 언어인 Yoloxóchitl Mixtec와 같은 말라든 언어에 대해 엔드 투 엔드 ASR의 실현 가능성을 평가하기 위해.
• ASR 출력물과 초보 전사자 결과를 융합하여 전사 품질을 향상시키는 하이브리드 보정 프레임워크를 개발하고 검증하기 위해.
• YMC 코퍼스를 사용하여 말라든 언어 환경에서 엔드 투 엔드 ASR을 위한 재현 가능하고 오픈소스 파이프라인을 구축하기 위해.

제안 방법

• Yoloxóchitl Mixtec 전문가 검증 코퍼스(YMC-EXP) 100시간을 기반으로 ESPNet 툴킷을 사용해 엔드 투 엔드 ASR 시스템을 구축했다.
• 초보 전사자 전사와 전문가 보정을 포함한 8시간 이상의 녹음 자료를 활용해 새로운 초보 전사 보정 작업(YMC-NT 코퍼스)을 개발했다.
• ASR 출력물과 초보 전사 결과 간 정확한 정렬을 향상시키기 위해 음절 및 어절 수준에서 편집 거리(edit distance)를 계산하는 계층적 동적 정렬 방법을 구현했다.
• Yoloxóchitl Mixtec 특화 언어학적 규칙을 활용한 규칙 기반 융합 시스템을 설계하여 음운, 병음, 구두점 오류를 보정했다.
• E2E-Transformer, E2E-Conformer 및 초보 전사자 결과의 가설을 융합하는 투표 기반 융합(ROVER)을 적용해 내성 강도를 향상시켰다.
• 전체(100시간) 및 감소된(50시간) 데이터 세트를 기반으로 E2E-Conformer 모델을 훈련시어 데이터 효율성을 평가했다.

실험 결과

연구 질문

• RQ1 표준화된 언어학적 자원이 부족한 저자원 말라든 언어인 Yoloxóchitl Mixtec와 같이 엔드 투 엔드 ASR 시스템이 충분한 성능을 달성할 수 있는가?
• RQ2 최소한의 훈련을 받은 초보 전사자가 말라든 언어 기록에 활용 가능한 전사 결과를 얼마나 잘 생성할 수 있는가?
• RQ3 ASR와 초보 전사자 결과를 융합한 하이브리드 접근법이 전사 오류를 얼마나 효과적으로 감소시킬 수 있는가?
• RQ4 계층적 동적 정렬이 말라든 언어의 음운 및 형태소 패턴을 포착함으로써 오류 보정 성능을 향상시킬 수 있는가?
• RQ5 ASR 모델의 데이터 효율성은 제한된 훈련 데이터로도 효과적인 전사 지원을 가능하게 하는가?

주요 결과

• ROVER-Fusion2 시스템이 가장 낮은 문자 오류율(CER)을 기록했으며, 괄호 오류의 경우 최대 87.5% 감소, 병음 오류 50%, 음운 오류 25% 감소를 기록했다.
• 투표 기반 융합 방법(ROVER-Fusion2)은 깨끗한 음성 조건에서 개별 모델 및 기준 시스템보다 뚜렷이 뛰어난 성능을 보였다.
• 단지 50시간의 훈련 데이터만으로도 E2E-Conformer 모델이 초보 전사 오류를 감소시켜 데이터 효율성을 입증했다.
• 노이즈가 있는 조건에서는 초보 전사자 결과가 ASR보다 우수했으며, CER는 8.5% 미만이었고, ASR의 경우 23%를 초과했다.
• Yoloxóchitl 특화 음운 및 형태소 규칙에 기반한 규칙 기반 융합 시스템은 초보 전사자로부터 유발되는 체계적 오류를 효과적으로 보정했다.
• 본 연구는 ASR와 초보 전사자가 상호 보완적인 오류 패tern을 보이며 융합을 통해 효과적인 오류 완화가 가능함을 입증했다.