[논문 리뷰] An online sequence-to-sequence model for noisy speech recognition

Chung‐Cheng Chiu, Dieterich Lawson외 5명|arXiv (Cornell University)|2017. 06. 16.

Speech Recognition and Synthesis참고 문헌 9인용 수 3

한 줄 요약

이 논문은 실시간 추론이 가능한 인과적 어텐션을 지원하는 개선된 온라인 시퀀스-투-시퀀스 모델을 제안한다. 이는 종단간 음성 인식을 위한 수정된 정책 기반 강화 학습 방법을 사용하며, 잡음이 있는 단일 채널 혼합 음성(멀티-TIMIT)에서 뛰어난 성능을 보이며, 혼합 비율 10%에서 25.9%의 음소 오류율을 달성하여 간섭에 강건하면서도 낮은 지연을 유지함을 입증한다.

ABSTRACT

Generative models have long been the dominant approach for speech recognition. The success of these models however relies on the use of sophisticated recipes and complicated machinery that is not easily accessible to non-practitioners. Recent innovations in Deep Learning have given rise to an alternative - discriminative models called Sequence-to-Sequence models, that can almost match the accuracy of state of the art generative models. While these models are easy to train as they can be trained end-to-end in a single step, they have a practical limitation that they can only be used for offline recognition. This is because the models require that the entirety of the input sequence be available at the beginning of inference, an assumption that is not valid for instantaneous speech recognition. To address this problem, online sequence-to-sequence models were recently introduced. These models are able to start producing outputs as data arrives, and the model feels confident enough to output partial transcripts. These models, like sequence-to-sequence are causal - the output produced by the model until any time, $t$, affects the features that are computed subsequently. This makes the model inherently more powerful than generative models that are unable to change features that are computed from the data. This paper highlights two main contributions - an improvement to online sequence-to-sequence model training, and its application to noisy settings with mixed speech from two speakers.

연구 동기 및 목표

• 전체 입력을 수신한 후에야 출력을 생성하는 표준 시퀀스-투-시퀀스 모델의 한계를 해결하여 실시간 응용에 부적합한 점을 해결한다.
• 음성 입력이 들어오는 동안 점진적으로 번역을 생성할 수 있는 인과적, 온라인 추론 메커니즘을 개발한다.
• 이진 스토케스틱 변수를 사용한 수정된 정책 기반 강화 학습 방법을 통해 온라인 시퀀스-투-시퀀스 모델의 학습 안정성과 성능을 향상시킨다.
• 두 화자로부터의 잡음이 있는 단일 채널 혼합 음성에서 모델을 평가하여 실제 간섭 상황을 시뮬레이션한다.
• 혼합된 음성에서 목표 화자 음성을 인식할 수 있는 능력을 입증하며, 낮은 지연과 높은 정확도를 유지한다.

제안 방법

• 디코더가 인코더 상태로부터의 컨텍스트 벡터를 사용해 자동적으로 순차적으로 출력 토큰을 생성하는 소프트 어텐션을 갖춘 시퀀스-투-시퀀스 아키텍처를 사용한다.
• 모델이 토큰을 출력할 시점을 결정하기 위해 이진 스토케스틱 변수를 도입하여, 입력 처리 중 부분적인 출력도 가능하게 하여 온라인 추론을 가능하게 한다.
• 발화 결정 메커니즘을 정책 기반 강화 학습 방법으로 학습하며, 학습 안정성과 수렴성을 향상시키기 위해 수정된 목적 함수를 사용한다.
• 효율적인 시퀀스 모델링을 위해 인코더와 디코더 양쪽 모두에 단방향 LSTMs를 사용하며, 2층 구조와 각 층당 256개의 뉴런을 사용한다.
• 다양한 음량 비율(10%, 25%, 50%)으로 남성과 여성의 TIMIT 발화를 혼합하여 생성한 새로운 데이터셋인 Multi-TIMIT에 모델을 적용한다.
• 표준 로그 멜 필터뱅크 특징(123차원)을 사용하며, 토큰 수준 예측에 교차 엔트로피 손실을 사용해 종단간 학습을 수행한다.

실험 결과

연구 질문

• RQ1 향상된 학습을 갖춘 온라인 시퀀스-투-시퀀스 모델이 잡음이 있는 조건에서 실시간 음성 인식에 효과적으로 적용될 수 있는가?
• RQ2 혼합 비율이 증가함에 따라 두 화자로부터의 단일 채널 혼합 음성에서 모델의 성능은 어떻게 되는가?
• RQ3 모델의 인과적, 자동적으로 순차적인 구조는 전체 입력 시퀀스가 제공되지 않은 상태에서도 저하된 입력에 적응할 수 있는가?
• RQ4 표준 모델들과 비교해도 경쟁력 있는 정확도를 유지하면서 낮은 지연을 유지할 수 있는가?
• RQ5 청정 입력과 잡음이 있는 입력 간에 모델의 발화 타이밍은 어떻게 다름가? 이는 모델의 강건성에 어떤 함의를 갖는가?

주요 결과

• 제안된 모델은 Multi-TIMIT에서 혼합 비율 10% 조건에서 25.9%의 음소 오류율(PER)을 달성하여, 동일 조건에서 CTC(27.3%)와 RNN-Transducer(25.7%)를 모두 능가하는 성능을 보였다.
• 혼합 비율 25%에서는 32.5%의 PER을 기록하여 청정 데이터 대비 다소의 성능 저하를 보였지만, 기준 모델들을 여전히 능가하였다.
• 혼합 비율 50%에서는 42.9%의 PER을 기록하여 RNN-Transducer(48.9%)보다 우수하여 고간섭 상황에서도 강건함을 입증하였다.
• 잡음이 있는 Multi-TIMIT 입력에서는 청정 TIMIT 입력보다 토큰을 더 늦게 발화하는 경향을 보이며, 저하된 입력에 적응하기 위해 타이밍을 조절하는 것으로 나타났다.
• 각 타겟 발화가 여러 개의 간섭 화자와 쌍을 이루었을 때 오버피팅이 악화되어, 모델이 특정 입력-출력 쌍을 기억하는 능력이 있음을 시사한다.
• 모델의 인과적 아키텍처는 실시간 추론을 가능하게 하며, 다중 번역 생성을 지원하여 실무적 구현에 있어 유연성을 높인다.