[논문 리뷰] Semi-Supervised Model Training for Unbounded Conversational Speech Recognition

Shane Walker, Morten W. Pedersen외 2명|arXiv (Cornell University)|2017. 05. 26.

Speech Recognition and Synthesis참고 문헌 22인용 수 13

한 줄 요약

이 논문은 대규모 비라벨링 통화 데이터셋을 활용하여 고품질의 대화형 음성인식 코퍼스를 구축하기 위해, 신뢰도 기반 필터링과 NLP 히우리스틱을 사용해 번역을 보정하고 모델을 재학습하는 반복적 반감독 프레임워크를 제안한다. 이 방법은 에이전트 발화에서 35% 상대적 WER 감소와 IBM Watson STT 대비 5% 절대적 WER 향상을 달성하여, 무제한 대화형 ASR에서 뚜렷한 성능 향상을 보여준다.

ABSTRACT

For conversational large-vocabulary continuous speech recognition (LVCSR) tasks, up to about two thousand hours of audio is commonly used to train state of the art models. Collection of labeled conversational audio however, is prohibitively expensive, laborious and error-prone. Furthermore, academic corpora like Fisher English (2004) or Switchboard (1992) are inadequate to train models with sufficient accuracy in the unbounded space of conversational speech. These corpora are also timeworn due to dated acoustic telephony features and the rapid advancement of colloquial vocabulary and idiomatic speech over the last decades. Utilizing the colossal scale of our unlabeled telephony dataset, we propose a technique to construct a modern, high quality conversational speech training corpus on the order of hundreds of millions of utterances (or tens of thousands of hours) for both acoustic and language model training. We describe the data collection, selection and training, evaluating the results of our updated speech recognition system on a test corpus of 7K manually transcribed utterances. We show relative word error rate (WER) reductions of {35%, 19%} on {agent, caller} utterances over our seed model and 5% absolute WER improvements over IBM Watson STT on this conversational speech task.

연구 동기 및 목표

• 대규모 어휘 연속 음성인식(LVCSR)을 위한 수동으로 타이핑된 대화형 음성 데이터의 부족성과 높은 비용 문제를 해결하기 위해.
• Switchboard 및 Fisher와 같은 오래된 코퍼스의 한계를 극복하기 위해, 오래된 오디오 특징과 어휘로 인해 현대 대화형 음성과 더 이상 대응되지 않는 문제를 해결하기 위해.
• 반감독 학습을 활용하여 고품질의 대규모 대화형 음성 코퍼스를 구축하기 위한 확장 가능한 자동화된 파이프라인을 개발하기 위해.
• 반복적인 텍스트 보정 및 음성 및 언어 모델 재학습을 통해 무제한이고 즉흥적인 음성에서 ASR 성능을 향상시키기 위해.
• 거대 규모의 데이터 수집을 통해 다양한 연령대, 어조, 소음 조건, 변화하는 비공식어 사용을 포괄하는 일반화 능력을 확보하기 위해.

제안 방법

• 시드 ASR 모델을 사용해 거대한 비라벨링 통화 데이터셋을 디코딩하여 최소 베이즈 리스크(MBR) 신뢰도 추정을 위한 라티스를 생성한다.
• 가장 짧은 세그먼트 중에서 MBR 신뢰도가 가장 낮고 언어 모델 퍼플렉서피가 가장 낮은 것들만 선택하여 텍스트를 필터링한다.
• 필터링된 데이터에서 흔하고 고유한 번역 오류를 식별하고 수정하기 위해 NLP 히우리스틱을 적용하여 수정 텍스트 변환을 생성한다.
• 수정된 후처리된 텍스트를 기반으로 다시 음성 모델을 처음부터 재학습시켜 정렬 품질과 모델 성능을 향상시킨다.
• 각 반복 단계에서 수정된 고유한 번역 텍스트를 지표 훈련 세트에 추가하여 언어 모델을 업데이트함으로써 향후 필터링 단계에서의 퍼플렉서피 점수를 향상시킨다.
• AWS 클라우드 인프라를 활용해 파이프라인을 확장하며, 스토리지용 S3, 메시지 큐잉용 SQS, 효율적인 재학습을 위한 GPU 기반 P2 인스턴스를 사용한다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 수동 타이핑 없이도 반감독 반복적 접근이 대화형 음성인식에서 WER를 상당히 감소시킬 수 있는가?
• RQ2 신뢰도 기반 필터링과 NLP 히우리스틱의 조합이 대규모에서 텍스트 품질 향상에 얼마나 효과적인가?
• RQ3 거대 규모의 자동으로 구성된 코퍼스가 전통적인 수동으로 코딩된 코퍼스인 Switchboard 및 Fisher보다 현대 대화형 ASR 작업에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 음성 및 언어 모델의 반복적 보정이 전체 시스템 성능과 다양한 음성 조건에서의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 클라우드 기반 분산 컴퓨팅 플랫폼에 이러한 파이프라인을 구현할 경우의 확장성과 비용 효율성은 어떠한가?

주요 결과

• 제안된 방법은 시드 모델 대비 에이전트 발화에서 35% 상대적 단어오류율(WER) 감소를 달성했다.
• 콜러 발화에서는 19% 상대적 WER 감소가 관찰되어 다양한 화자 역할에 걸쳐 효과가 있음을 입증했다.
• 동일한 대화형 음성 테스트 세트에서 IBM Watson STT 대비 5% 절대적 WER 향상을 달성했다.
• 최종 코퍼스는 1,100만 건 이상의 발화를 포함하며, 5,000시간 이상의 대화형 음성 데이터를 포함하고 있으며, 다양한 화자 배경, 어조, 소음 조건을 수반한다.
• AWS 기반 분산 컴퓨팅을 활용해 100개의 스폟 인스턴스 풀을 사용해 3,000만 건의 발화를 20시간 내에 재디코딩할 수 있었다.
• 반복적인 보정 과정은 누적적인 개선 효과를 낳았으며, 각 재학습 사이클이 더 정확한 디코더와 더 깔끔한 훈련 데이터를 생성했다.