[논문 리뷰] Gated Recurrent Unit Based Acoustic Modeling with Future Context

Jie Li, Xiaorui Wang외 2명|arXiv (Cornell University)|2018. 05. 18.

Speech Recognition and Synthesis참고 문헌 31인용 수 5

한 줄 요약

이 논문은 mGRUIP을 제안하며, 입력 투영층을 갖춘 최소한의 게이트형 순환단위로, 시간적 인코딩과 시간적 컨볼루션이라는 두 가지 새로운 맥락 모듈을 통해 향후 맥락을 효과적이고 직접적으로 모델링할 수 있도록 한다. 이로 인해 TDNN-LSTM보다 40% 적은 파라미터를 사용하면서도 상태최저 수준의 ASR 성능을 달성하며, 지연 시간은 오직 170ms에 불과하다.

ABSTRACT

The use of future contextual information is typically shown to be helpful for acoustic modeling. However, for the recurrent neural network (RNN), it's not so easy to model the future temporal context effectively, meanwhile keep lower model latency. In this paper, we attempt to design a RNN acoustic model that being capable of utilizing the future context effectively and directly, with the model latency and computation cost as low as possible. The proposed model is based on the minimal gated recurrent unit (mGRU) with an input projection layer inserted in it. Two context modules, temporal encoding and temporal convolution, are specifically designed for this architecture to model the future context. Experimental results on the Switchboard task and an internal Mandarin ASR task show that, the proposed model performs much better than long short-term memory (LSTM) and mGRU models, whereas enables online decoding with a maximum latency of 170 ms. This model even outperforms a very strong baseline, TDNN-LSTM, with smaller model latency and almost half less parameters.

연구 동기 및 목표

• 최소한의 지연 시간과 계산 비용으로 향후 맥락 정보를 효과적으로 활용할 수 있는 순환 신경망 음성 모델을 설계하는 것.
• 온라인 음성 인식에서 표준 RNN과 청크 기반 양방향 모델의 한계를 극복하기 위해, 낮은 지연 시간으로 프레임 단위 추론을 가능하게 하는 것.
• 외부 구성 요소(예: TDNN 층)에 의존하지 않고, RNN 아키텍처 내부에 직접 향후 맥락 모델링을 통합하는 것.
• LSTM 및 TDNN-LSTM과 같은 강력한 기준 모델에 비해 성능을 유지하거나 향상시키면서도 모델 크기와 계산 비용을 줄이는 것.

제안 방법

• 입력 투영층을 삽입한 수정된 최소한의 게이트형 순환단위(mGRU)인 mGRUIP을 제안하며, 입력 및 은닉 상태를 압축함으로써 파라미터 수를 줄이고, 블로킹 기반 맥락 모델링을 가능하게 한다.
• 미리 정해진 크기의 표현으로 향후 맥락을 인코딩하는 시간적 인코딩 모듈을 도입하며, 이는 FSMN과 유사하다.
• 시간 단위로 연결된 컨볼루션을 적용하여 스플릿된 향후 프레임에 대해 저차원 투영을 활용해 효율적인 맥락 모델링을 수행하는 시간적 컨볼루션 모듈을 설계한다.
• 시간적 인코딩 및 컨볼루션 모듈을 레이어 l=2에서 l=5까지의 고차원 mGRUIP 유닛에 적용하며, 대부분의 레이어에서는 커널 크기 K=1, 스트라이드 s=3을 사용하고, 레이어 l=2에서는 s=1을 사용하여 일관된 프레임 속도를 유지한다.
• 최대 지연 시간이 170ms인 프레임 단위 추론 전략을 적용하며, 청크 기반 처리 없이 맥락 모듈을 통해 수신 영역을 확장함으로써 이를 달성한다.
• LSTM, TDNN-LSTM, mGRUIP 버전 간의 공정한 비교를 위해 Switchboard 및 내부 중국어 ASR 작업에서 동일한 설정으로 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 외부 층(예: TDNN)에 의존하지 않고도 수정된 mGRU 아키텍처가 직접적으로 향후 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 mGRU에 입력 투영층을 삽입함으로써 ASR 성능 향상과 함께 효율적인 향후 맥락 모델링이 가능해지는가?
• RQ3 시간적 인코딩 및 시간적 컨볼루션 모듈를 설계하여 최소한의 계산 비용으로 심각한 정확도 향상을 이룰 수 있는가?
• RQ4 통합된 RNN 기반 아키텍처를 사용하여 TDNN-LSTM보다 낮은 지연 시간과 더 적은 파라미터로 더 높은 ASR 성능을 달성할 수 있는가?
• RQ5 제안된 맥락 모듈은 청소된 음성과 노이즈가 있는 음성 인식 작업 모두에서 얼마나 효과적인가?

주요 결과

• 시간적 컨볼루션을 적용한 mGRUIP은 Switchboard Hub5'00 테스트 세트에서 LSTM 대비 13.5% 상대적 WER 감소를 기록했으며, 지연 시간은 오직 170ms였다.
• 내부 중국어 ASR 작업에서 mGRUIP은 청소된 및 노이즈가 있는 테스트 세트에서 CER을 각각 13.0%에서 24.3%까지 감소시켰으며, 특히 손상된 데이터에서 가장 큰 성과를 보였다.
• 시간적 컨볼루션을 적용한 mGRUIP 모델은 전체 Switchboard 테스트 세트에서 TDNN-LSTM을 초월하며, WER 13.5% 대비 14.4%를 기록했고, 파라미터 수는 46% 감소(18.7M 대비 34.8M)하였다.
• 모델은 최대 지연 시간 170ms로 온라인 디코딩을 구현하였으며, 비교 대상 중 가장 강력한 기준 모델의 2000ms 지연 시간보다 현저히 낮았다.
• 시간적 컨볼루션은 시간적 인코딩보다 더 강력한 성능 향상을 제공하지만, 약간의 모델 파라미터 증가를 초래한다.
• mGRUIP의 입력 투영층은 모델 크기를 줄이고 효과적인 맥락 모델링을 가능하게 하여, 표준 mGRU 대비 파라미터 수 감소와 정확도 향상에 기여한다.