[논문 리뷰] Reducing Bias in Production Speech Models

Eric Battenberg, Rewon Child외 14명|arXiv (Cornell University)|2017. 05. 11.

Speech Recognition and Synthesis참고 문헌 17인용 수 11

한 줄 요약

이 논문은 엔드 투 엔드 스트리밍 음성 인식 모델의 편향을 줄이기 위한 기술 세트를 제안한다. 여기에는 입력 정규화를 위한 PCEN, 지연 시간 제약이 있는 양방향 RNN(LC-BGRU), 개선된 레이블 모델링을 위한 GramCTC, 그리고 정렬 인식 학습이 포함된다. 이러한 방법들은 모델 크기나 구현 비용을 늘리지 않으면서도 지연 시간을 낮게 유지하면서 최대 20%까지 WER를 감소시켜, 원거리 음성 및 고유명사와 같은 도메인 외부 데이터에서의 일반화 능력을 크게 향상시킨다.

ABSTRACT

Replacing hand-engineered pipelines with end-to-end deep learning systems has enabled strong results in applications like speech and object recognition. However, the causality and latency constraints of production systems put end-to-end speech models back into the underfitting regime and expose biases in the model that we show cannot be overcome by "scaling up", i.e., training bigger models on more data. In this work we systematically identify and address sources of bias, reducing error rates by up to 20% while remaining practical for deployment. We achieve this by utilizing improved neural architectures for streaming inference, solving optimization issues, and employing strategies that increase audio and label modelling versatility.

연구 동기 및 목표

• 스케일업이 이루어졌음에도 성능을 떨어뜨리는 엔드 투 엔드 스트리밍 음성 인식 모델 내 편향의 원인을 규명하고 이를 완화하기 위해.
• 원거리 음성 및 고유명사와 같은 도메인 외부 및 자원이 부족한 음성 데이터에서 모델의 일반화 능력을 향상시키기 위해.
• 더 큰 비스트리밍 모델과 비교해도 성능가능성을 유지하면서 낮은 추론 지연 시간을 유지를 위해.
• 정렬 인식 기반 기술과 하이브리드 손실 함수를 통해 CTC 학습의 최적화 불안정성을 해결하기 위해.
• 실제 환경에서 표준 엔드 투 엔드 시스템을 능가하는 실용적이고 구현 가능한 모델 아키텍처를 개발하기 위해.

제안 방법

• 고정된 수동 특징 추출에 의존하지 않고 입력 표현의 강건성을 향상시키기 위해 학습 가능한 PCEN(채널별 에너지 정규화)을 도입하여 입력 정규화의 대안으로 활용한다.
• 지연 시간 제약 조건을 만족하면서도 미래 컨텍스트를 스트리밍 추론에 활용할 수 있도록 지연 시간 제약이 있는 양방향 게이트드 순환 단위(LC-BGRU)를 적용한다.
• 조건부 독립성 가정을 줄이고 드문 혹은 알려지지 않은 어형 처리 능력을 향상시키기 위해 레이블 공간을 재구조화한 수정된 CTC 목적함수인 GramCTC를 도입한다.
• 정렬 정보를 활용해 최적화를 안정화하고 수렴 속도를 가속화하기 위해 교차 엔트로피(CE)와 CTC 손실을 함께 학습한다.
• 원거리 및 노이즈 있는 조건에서의 강건성을 향상시키기 위해 인파르스 응답(IR) 데이터 증강 기법을 적용한다.
• 이러한 구성 요소들을 모듈식 파ip라인으로 조합하여 점진적 평가 및 구현이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 고정된 수동 특징에 의존하지 않고 음성 모델의 입력 표현 편향을 어떻게 줄일 수 있는가?
• RQ2 지연 시간 제약을 위반하지 않으면서도 스트리밍 ASR 모델에 미래 컨텍스트를 얼마나 효과적으로 통합할 수 있는가?
• RQ3 레이블 공간과 손실 함수를 재고함으로써 CTC에서 발생하는 조건부 독립성 가정에 기인한 편향을 줄일 수 있는가?
• RQ4 정렬 인식 학습과 같은 최적화 기법이 CTC 기반 모델의 수렴 및 일반화에 어떤 영향을 미치는가?
• RQ5 데이터 증강 전략이 이름이나 원거리 음성과 같은 드문 혹은 새로운 음성 패턴으로의 일반화 능력을 향상시킬 수 있는가?

주요 결과

• PCEN, LC-BGRU, IR 증강(믹스-2)의 조합은 베이스라인 대비 개선도 집합 WER을 8.56% 향상시켰으며, 언어 모델을 사용할 경우 양방향 베이스라인을 초월하는 성능을 보였다.
• CE와 CTC 손실을 함께 학습한 믹스-1 모델은 훈련 집합 WER을 가장 낮게 기록했지만, 언어 모델링을 적용했을 때 과적합 및 일반화 능력 저하의 징후를 보였다.
• 믹스-3는 PCEN, LC-BGRU, CE/CTC 공동 학습을 조합하여 전체 개선도 집합에서 WER을 15.74%로 낮추었으며, 베이스라인 대비 15.2% 상대적 감소를 기록했다.
• 믹스-3 모델은 도전적인 원거리 음성 서브셋에서 WER 26.49%를 기록했으며, 베이스라인 대비 24.4% 상대적 향상도 보였다. 이는 강력한 일반화 능력을 보여준다.
• 믹스-3 모델은 98번째 백분위수 서빙 지연 시간이 153ms로, 베이스라인(112ms)보다 약간 높을 뿐만 아니라 실용적인 구현 가능성을 입증했다.
• 같은 파arameter 수를 가짐에도 불구하고 믹스-3는 파arameter 수가 두 배인 모델보다 성능이 뛰어나, 단순 모델 스케일링보다 편향 감소 전략이 훨씬 효과적임을 시사한다.