[논문 리뷰] IMS-Speech: A Speech to Text Tool

Pavel Denisov, Ngoc Thang Vu|arXiv (Cornell University)|2019. 08. 13.

Speech Recognition and Synthesis참고 문헌 28인용 수 9

한 줄 요약

IMS-Speech는 영어 및 독일어를 위한 무료 웹 기반 음성 인식 도구로, 비기술적 연구자들이 최신 기술 기반 자동 음성 인식(ASR)을 사용해 오디오 녹음을 텍스트로 변환할 수 있도록 한다. 이 도구는 음성 활동 검출(SAD) 시스템과 어텐션과 CTC 손실을 결합한 하이브리드 엔드 투 엔드 ASR 모델을 결합하여 다양한 데이터셋에서 경쟁적인 단어 오류율(WER)을 달성하며, 일부 벤치마크에서는 전문화된 시스템을 능가한다.

ABSTRACT

We present the IMS-Speech, a web based tool for German and English speech transcription aiming to facilitate research in various disciplines which require accesses to lexical information in spoken language materials. This tool is based on modern open source software stack, advanced speech recognition methods and public data resources and is freely available for academic researchers. The utilized models are built to be generic in order to provide transcriptions of competitive accuracy on a diverse set of tasks and conditions.

연구 동기 및 목표

• 인문학 및 사회과학 분야의 비기술적 연구자들이 말하기 데이터를 쉽게 접근할 수 있도록 지원하기 위해.
• 다양한 음성 환경와 작업에서 잘 작동하는 일반화된 고정확도 ASR 시스템을 개발하기 위해.
• 사용자 友好的한 웹 인터페이스를 제공하고 오픈소스 기술을 활용함으로써 음성 변환의 기술적 장벽을 낮추기 위해.
• 음성 인식이나 시스템 설정에 전문 지식이 없어도 연구자들이 오디오 녹음을 변환할 수 있도록 하기 위해.
• 분야별 응용을 위한 향후 시스템 커스터마이제이션을 지원하기 위해.

제안 방법

• 장기적 맥락 모델링을 위해 통계 풀링을 사용하는 TDNN 기반 음성 활동 검출(SAD) 시스템을 사용해 음성 분할을 수행한다.
• SAD 시스템은 GMM 기반 음향 모델의 강제 정렬 및 비제약 디코딩 출력의 가중 조합을 사용해 훈련된다.
• 엔드 투 엔드 ASR는 어텐션 기반 인코더-디코더 아키텍처를 사용하며, 교차 엔트로피와 연결주의 시계열 분류(CTC)를 조합한 하이브리드 손실을 적용한다.
• 모델은 입력 음향 특징과 출력 단어 시퀀스 간의 탄력적인 정렬을 가능하게 하기 위해 어텐션 메커니즘을 사용한다.
• 추론 과정에서는 CTC와 어텐션 확률을 가중 로그합 규칙을 사용해 조합하여 최종 변환 텍스트를 도출한다.
• WER에 영향을 주지 않으면서도 속도를 향상시키기 위해 CPU 및 GPU에서 배치 기반 추론을 사용한다.

실험 결과

연구 질문

• RQ1 일반화된 웹 기반 ASR 도구가 다양한 음성 도메인과 녹음 조건에서 경쟁적인 변환 정확도를 달성할 수 있는가?
• RQ2 일반화된 ASR 시스템의 성능이 벤치마크 데이터셋에서 작업 특화 시스템과 비교해 어떻게 되는가?
• RQ3 CTC-어텐션 하이브리드 손실이 어텐션만 사용할 경우에 비해 ASR 성능 향상에 얼마나 기여하는가?
• RQ4 IMS-Speech 시스템은 Google Cloud Speech-to-Text와 같은 상용 API와 비교해 변환 정확도 측면에서 어떻게 성과를 내는가?
• RQ5 사용자 친화적이고 오픈소스 기반의 웹 인터페이스가 비기술적 연구자들이 음성 변환을 사용할 수 있도록 하는 데 효과적인가?

주요 결과

• WSJ eval'92에서 IMS-Speech는 WER 3.8%를 기록했으며, 일부 벤치마크에서 최신 기술 성능을 뛰어넘었다.
• LibriSpeech test-other 세트에서 IMS-Speech는 WER 12.7%를 기록했으며, 이는 이전 연구에서 보고된 최고 성능 시스템의 7.6%보다 우수하다.
• 독일어 분야에서 IMS-Speech는 Tuda-De dev에서 WER 11.1%, Tuda-De test에서 WER 12.0%를 기록했으며, 이는 이전 연구에서 보고된 13.1% 및 14.4%를 뛰어넘었다.
• Verbmobil 1 test에서 IMS-Speech는 WER 7.3%를 기록했으며, 이는 이전 연구에서 보고된 12.7%보다 뛰어났다.
• 모든 테스트 데이터셋에서 IMS-Speech는 Google Cloud Speech-to-Text를 뛰어넘었으며, LibriSpeech test-clean에서 WER 4.3% 대비 15.9%, Tuda-De test에서 WER 10.0% 대비 12.4%를 기록했다.
• GPU에서의 배치 기반 추론은 실시간 요소를 단일 CPU의 14.2에서 0.3으로 감소시켜 속도를 향상시켰으며, WER에 영향을 주지 않았다.