[논문 리뷰] Improving Readability for Automatic Speech Recognition Transcription

Junwei Liao, Şefik Emre Eskimez외 6명|arXiv (Cornell University)|2020. 04. 09.

Natural Language Processing Techniques참고 문헌 54인용 수 19

한 줄 요약

이 논문은 음성 인식(ASR) 결과물의 난독성과 불순성을 줄이고 자연스럽고 문법적으로 올바르며 인간이 읽기 쉬운 텍스트로 변환하기 위해 미세조정된 사전학습 모델을 사용하는 새로운 NLP 과제인 가독성 향상을 위한 ASR 후처리(APR)를 소개한다. GEC 데이터셋을 활용해 TTS와 ASR를 통해 110만 개의 APR 학습 샘플을 합성함으로써, 저자들은 RoBERTa 기반 모델이 기존 파ip라인에 비해 특히 유창성과 가독성 인식 메트릭에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Modern Automatic Speech Recognition (ASR) systems can achieve high performance in terms of recognition accuracy. However, a perfectly accurate transcript still can be challenging to read due to grammatical errors, disfluency, and other errata common in spoken communication. Many downstream tasks and human readers rely on the output of the ASR system; therefore, errors introduced by the speaker and ASR system alike will be propagated to the next task in the pipeline. In this work, we propose a novel NLP task called ASR post-processing for readability (APR) that aims to transform the noisy ASR output into a readable text for humans and downstream tasks while maintaining the semantic meaning of the speaker. In addition, we describe a method to address the lack of task-specific data by synthesizing examples for the APR task using the datasets collected for Grammatical Error Correction (GEC) followed by text-to-speech (TTS) and ASR. Furthermore, we propose metrics borrowed from similar tasks to evaluate performance on the APR task. We compare fine-tuned models based on several open-sourced and adapted pre-trained models with the traditional pipeline method. Our results suggest that finetuned models improve the performance on the APR task significantly, hinting at the potential benefits of using APR systems. We hope that the read, understand, and rewrite approach of our work can serve as a basis that many NLP tasks and human readers can benefit from.

연구 동기 및 목표

• 높은 인식 정확도에도 불구하고 여전히 이해하기 어려운 ASR 전사문의 가독성 부족 문제를 해결하기 위해.
• 일관된 오류 수정과 유창성 향상을 동시에 수행하는 단일 단계의 새로운 NLP 과제인 가독성 향상을 위한 ASR 후처리(APR)를 제안하기 위해.
• 과제 전용 데이터 부족 문제를 해결하기 위해 GEC 데이터셋, TTS 및 ASR 파이프라인을 활용해 현실적인 APR 학습 예제를 합성하기 위해.
• 가독성 인식 WER, BLEU, M2, GLEU 등 다양한 메트릭을 조합하여 평가함으로써 인간의 가독성 인식에 더 잘 반영된 성능 평가를 수행하기 위해.

제안 방법

• GEC 데이터셋의 문법적으로 잘못된 문장을 TTS 시스템을 사용해 음성으로 변환한 후, ASR 시스템을 통해 다시 전사하여 노이즈가 있는 입력-정답 쌍을 생성함으로써 110만 개의 APR 학습 샘플을 합성하였다.
• 엔드 투 엔드 가독성 향상을 위해 합성된 APR 데이터셋에 대해 최신의 순서-순서 모델 네 가지—MASS, UniLM, RoBERTa, RoBERTa-UniLM—을 미세조정하였다.
• APR 생성 과제에 더 잘 부합하기 위해 RoBERTa를 수정된 UniLM 스타일의 사전학습 목표를 사용해 생성 과제에 적합하게 조정하여 RoBERTa-UniLM을 개발하였다.
• 가독성 인식 WER(RA-WER), BLEU, MaxMatch(M2), GLEU를 포함한 하이브리드 메트릭 세트를 사용해 모델을 평가하였으며, RA-WER는 가독성에 영향을 주는 오류에 특히 벌점을 주는 방식으로 설계되었다.
• 두 단계의 데이터 파이프라인을 사용함: GEC → TTS → ASR로 실제 ASR 오류를 시뮬레이션하면서 의미를 유지하였다.
• 모든 모델을 기존의 규칙 기반 후처리 기준선과 비교하여 엔드 투 엔드 학습의 기여도를 분리하여 평가하였다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델이 기존의 규칙 기반 후처리 방법을 뛰어나 가독성 향상을 크게 향상시킬 수 있는가?
• RQ2 GEC, TTS, ASR를 활용한 합성 데이터 생성이 APR에 적합한 고품질의 과제 전용 데이터셋을 만드는 데 얼마나 효과적인가?
• RQ3 RoBERTa 및 RoBERTa-UniLM과 같은 사전학습 모델이 다른 아키텍처(MASS, UniLM 등)에 비해 APR 과제에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 WER, BLEU, M2, GLEU 중 어떤 평가 메트릭이 ASR 후처리에서 인간이 인식하는 가독성과 가장 잘 부합하는가?
• RQ5 단일 모델에서 오류 수정과 유창성 향상을 동시에 수행하는 것이 별도의 보정 단계보다 더 뛰어난 성능을 내는가?

주요 결과

• RoBERTa 기반 모델이 가장 뛰어난 종합 성능을 보였으며, JFLEG 테스트 세트에서 가독성 인식 WER(RA-WER)가 13.88로 기준선 및 다른 모델보다 뚜렷이 떨어졌다.
• RoBERTa-UniLM은 M2 메트릭(54.32)과 BLEU(80.77)에서 뛰어난 성능을 보였으며, 제한된 학습 데이터와 수렴 조건에도 불구하고 유창성 향상과 일치도 향상이 뚜렷했다.
• 미세조정된 모델들은 기존 파이프라인 대비 RA-WER를 30퍼센트 이상 감소시켜 엔드 투 엔드 학습의 효과성을 입증하였다.
• GLEU 메트릭은 상충 관계를 드러냈다: 낮은 WER와 높은 BLEU가 항상 더 높은 유창성과 관련되지 않았으며, 이는 현재 메트릭이 가독성을 완전히 반영하지 못할 수 있음을 시사한다.
• TTS와 ASR를 통한 합성 데이터 생성은 대규모이고 다양한 APR 데이터셋을 만들 수 있었으며, 강력한 모델 일반화를 가능하게 하였다.
• 제한된 학습 스텝(7200)에도 불구하고 RoBERTa-UniLM는 희망적인 성능을 보였으며, 향후 사전학습을 더 진행하면 더 큰 성과를 낼 수 있음을 시사한다.