[논문 리뷰] Prioritizing Speech Test Cases

Zhou Yang, Jieke Shi외 5명|arXiv (Cornell University)|2023. 02. 01.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 언어 모델을 사용하여 참조 텍스트의 단어 중에서 ASR 시스템에 의해 잘못 인식될 가능성이 높은 단어를 예측함으로써 자동 음성 인식(ASR) 시스템을 위한 음성 테스트 케이스의 우선순위를 정하는 Prophet이라는 도구를 제안한다. 이 도구는 ASR 시스템을 실행하지 않고도 오류 점수를 계산한다. 3개의 ASR 시스템과 12개의 데이터셋에서 평가한 결과, 동일한 테스트 예산 내에서 기존 최고 수준의 방법보다 12.63% 더 많은 잘못 인식된 단어를 발견하였다.

ABSTRACT

With the wide adoption of automated speech recognition (ASR) systems, it is increasingly important to test and improve ASR systems. However, collecting and executing speech test cases is usually expensive and time-consuming, motivating us to strategically prioritize speech test cases. A key question is: how to determine the ideal order of collecting and executing speech test cases to uncover more errors as early as possible? Each speech test case consists of a piece of audio and the corresponding reference text. In this work, we propose PROPHET (PRiOritizing sPeecH tEsT), a tool that predicts potential error-uncovering speech test cases only based on their reference texts. Thus, PROPHET analyzes test cases and prioritizes them without running the ASR system, which can analyze speech test cases at a large scale. We evaluate 6 different prioritization methods on 3 ASR systems and 12 datasets. Given the same testing budget, we find that our approach uncovers 12.63% more wrongly recognized words than the state-of-the-art method. We select test cases from the prioritized list to fine-tune ASR systems and analyze how our approach can improve the ASR system performance. Statistical tests show that our proposed method can bring significantly larger performance improvement to ASR systems than the existing baseline methods. Furthermore, we perform correlation analysis and confirm that fine-tuning an ASR system using a dataset, on which the model performs worse, tends to improve the performance more.

연구 동기 및 목표

• ASR 시스템 테스팅에서 음성 테스트 케이스를 수집하고 실행하는 데 소요되는 높은 비용과 시간 문제를 해결하기 위해.
• 제한된 자원으로서 초기 오류 탐지를 최대화할 수 있는 테스트 케이스 우선순위 전략을 규명하기 위해.
• 오디오나 ASR 실행 없이도 참조 텍스트 내에서 오류가 발생하기 쉬운 단어를 예측할 수 있는 방법을 개발하기 위해.
• 예측된 오류 가능성에 기반해 테스트 케이스를 우선순위 정하는 것이 ASR 모델 피니튜닝 성능 향상에 기여하는지 평가하기 위해.
• 테스트 케이스 세트의 어떤 특성이 ASR 성능 향상과 가장 강하게 상관되는지 조사하기 위해.

제안 방법

• Prophet는 사전에 훈련된 언어 모델(BERT, RoBERTa 등)을 사용하여 참조 텍스트의 단어 수준에서 분석하여 ASR 시스템에 의해 잘못 인식될 가능성이 높은 단어를 예측한다.
• 개별 단어의 어려움을 예측한 바탕으로 각 테스트 케이스에 대한 종합적인 오류 점수를 계산하며, 이는 오류를 드러내는 데의 잠재력을 반영한다.
• 오류 점수는 문맥 임베딩에서 유도된 어휘 빈도, 발음 복잡도, 맥락적 모호성 등의 언어적 특징을 통합한다.
• 테스트 케이스는 총합 오류 점수에 따라 순위가 매겨지며, 이는 ASR 모델을 실행하지 않고도 수집 또는 실행에 대한 우선순위를 정하는 데 도움이 된다.
• 이 방법은 3개의 ASR 시스템과 12개의 다양한 데이터셋을 사용하여 평가되었으며, 고정된 테스트 예산 내에서 우선순위 전략을 비교하였다.
• 모델 향상 정도를 평가하기 위해 Prophet과 기준 방법으로 선택된 테스트 케이스를 사용하여 피니튜닝 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 오디오나 모델 추론 없이 참조 텍스트만으로도 ASR 시스템에 의해 잘못 인식될 가능성이 높은 단어를 예측할 수 있는가?
• RQ2 예측된 오류 가능성에 기반해 테스트 케이스를 우선순위 정하는 것이 기존 방법보다 더 이르고 포괄적인 오류 탐지로 이어지는가?
• RQ3 Prophet가 선택한 테스트 케이스를 사용해 피니튜닝한 ASR 모델의 성능은 기준 방법으로 선택한 테스트 케이스를 사용한 경우보다 어떻게 비교되는가?
• RQ4 테스트 케이스 세트의 어떤 특성이 ASR 모델 성능 향상과 가장 강하게 상관되는가?
• RQ5 원본 모델이 테스트 세트에서 기록한 WER이 발음 또는 트라이포네 빈도와 비교해 피니튜닝 효과성 예측에 더 나은 지표인가?

주요 결과

• Prophet가 우선순위를 정한 테스트 세트에서 기존 최고 수준의 방법보다 12.63% 더 높은 단어 오류율(WER)을 기록하여 동일한 예산 내에서 훨씬 더 많은 오류를 드러냈다.
• Prophet가 선택한 테스트 케이스를 사용해 ASR 모델을 피니튜닝하면 네 가지 기준 방법으로 선택한 경우보다 유의미하게 더 큰 성능 향상이 이루어졌다.
• 원본 모델이 테스트 세트에서 기록한 WER가 피니튜닝 효과성 예측에 가장 강력한 예측 변수였으며, 발음 빈도나 트라이포네 다양성과 같은 특성보다 뛰어났다.
• 오류 발생 가능성 예측에 초점을 맞춘 Prophet의 접근 방식은 언어적 커버리지에 초점을 맞춘 방법보다 우수했으며, 이는 오류 잠재력이 언어 커버리지보다 더 나은 신호임을 시사한다.
• 통계 분석을 통해 예측 오류 점수가 높은 테스트 케이스를 사용할수록 더 효과적인 모델 피니튜닝이 이루어짐을 확인하여, 이 방법의 설계가 타당함을 입증하였다.
• 재현 가능성을 지원하고 향후 연구를 위해 복제 패키지가 공개되었다.