[논문 리뷰] Online Sequence Training of Recurrent Neural Networks with Connectionist Temporal Classification

Kyuyeon Hwang, Wonyong Sung|arXiv (Cornell University)|2015. 11. 21.

Speech Recognition and Synthesis참고 문헌 24인용 수 5

한 줄 요약

이 논문은 긴 또는 연속적인 시퀀스에서 전체 역전파 없이도 효율적이고 메모리 제약이 있는 환경에서 훈련이 가능한 단방향 RNN를 위한 기대치-최대화(EM) 기반 온라인 CTC 훈련 알고리즘을 제안한다. 절단된 CTC(CTC-TR)와 EM 기반 프레임 커버리지(CTC-EM)를 조합함으로써, 64배의 역전파(640ms 창)로만 이루어진 훈련에서도 최신 기술 수준에 근접한 성능을 달성하며, GPU에서 프레임당 27,000개의 훈련 속도를 확보하면서 WSJ에서 상대적 WER 증가율이 4.5%에 불과하다.

ABSTRACT

Connectionist temporal classification (CTC) based supervised sequence training of recurrent neural networks (RNNs) has shown great success in many machine learning areas including end-to-end speech and handwritten character recognition. For the CTC training, however, it is required to unroll (or unfold) the RNN by the length of an input sequence. This unrolling requires a lot of memory and hinders a small footprint implementation of online learning or adaptation. Furthermore, the length of training sequences is usually not uniform, which makes parallel training with multiple sequences inefficient on shared memory models such as graphics processing units (GPUs). In this work, we introduce an expectation-maximization (EM) based online CTC algorithm that enables unidirectional RNNs to learn sequences that are longer than the amount of unrolling. The RNNs can also be trained to process an infinitely long input sequence without pre-segmentation or external reset. Moreover, the proposed approach allows efficient parallel training on GPUs. For evaluation, phoneme recognition and end-to-end speech recognition examples are presented on the TIMIT and Wall Street Journal (WSJ) corpora, respectively. Our online model achieves 20.7% phoneme error rate (PER) on the very long input sequence that is generated by concatenating all 192 utterances in the TIMIT core test set. On WSJ, a network can be trained with only 64 times of unrolling while sacrificing 4.5% relative word error rate (WER).

연구 동기 및 목표

• 긴 시퀀스에서 CTC 훈련의 전체 역전파로 인한 높은 메모리 비용 문제를 해결한다. 특히 GPU와 같은 공유 메모리 시스템에서의 문제를 대상으로 한다.
• 사전 분할이나 외부 리셋 없이도 온라인 및 연속적인 시퀀스 훈련을 가능하게 한다.
• 메모리 제약 조건 하에서 더 짧은 역전부 길이로 줄일 수 있도록 하면서도 높은 모델 성능 유지를 목표로 한다.
• 변동하는 시퀀스 길이로 인한 로드 불균형을 최소화함으로써 GPU에서 효율적이고 확장 가능한 훈련을 가능하게 한다.
• 제한된 메모리 자원을 가진 소형 온라인 학습 및 적응 시스템을 지원한다.

제안 방법

• 기대치-최대화(EM) 기반의 온라인 CTC 알고리즘을 도입하여 훈련을 두 단계로 나눈다: 절단된 CTC(CTC-TR)와 EM 기반 프레임 커버리지(CTC-EM).
• CTC-TR을 사용해 고정된 창 크기로 제한된 절단된 역전파를 통한 표준 역전파를 수행함으로써 메모리 사용량을 제한한다.
• CTC-TR이 놓친 프레임, 특히 시퀀스의 경계나 긴 시퀀스 내부의 프레임을 EM 방식의 반복 추정을 통해 커버한다.
• EM 기반 프레임 커버리지를 손실 함수에 통합하여, 완전하지 않거나 절단된 시퀀스에서의 모델 학습을 향상시킨다.
• 문장 수준의 번역을 가진 연결된 시퀀스를 훈련 데이터로 사용함으로써 연속적인 RNN 추론을 가능하게 하며, 리셋 없이 무한한 스트림을 처리할 수 있도록 한다.
• 고정된 역전부 창을 사용함으로써 GPU 병렬 훈련과 결합하여, 로드 밸런싱이 이루어진 데이터 스트림을 통해 고처리량 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전체 역전부 없이도 긴 또는 연속적인 입력 시퀀스에서 CTC 기반의 시퀀스 훈련을 효율적으로 수행할 수 있는가?
• RQ2 온라인 CTC 훈련에서 단방향 RNN의 메모리 사용량을 줄이면서도 모델 성능을 유지할 수 있는가?
• RQ3 EM 기반 프레임 커버리지는 CTC 훈련에서 절단된 역전파로 인한 성능 손실을 어느 정도 보완할 수 있는가?
• RQ4 제안된 방법은 길이가 다른 시퀀스에서 GPU에서 고처리량, 병렬 훈련을 가능하게 하는가?
• RQ5 온라인 CTC 훈련에서 역전부 길이, 훈련 속도, 모델 정확도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 온라인 CTC 알고리즘은 192개의 발화로 구성된 연결된 TIMIT 테스트 세트에서 20.7%의 음소 오류율(PER)을 달성하여 연속적인 시퀀스 처리의 효과를 입증한다.
• WSJ 코퍼스에서 64배의 역전부(640ms 창)만을 사용해 훈련한 모델은 전체 역전부 대비 4.5% 상대적 WER 증가율을 보였지만, 26.98k 프레임/초의 훈련 속도를 확보했다.
• 256개의 병렬 스트림과 64배의 역전부를 사용할 경우 훈련 속도가 26.98k 프레임/초에 도달하여, 메모리 제약 조건 하에서도 뚜렷한 가속 효과를 보였다.
• 256 및 512개의 역전부 단계를 사용한 CTC-TR + CTC-EM의 수렴 곡선은 2,048개의 역전부를 사용한 CTC-TR의 곡선과 매우 유사하여, 감소된 역전부에도 불구하고 강력한 일반화 능력을 보였다.
• 64배의 역전부(12.43% CTC-TR 커버리지)로도 전체 역전부 기준선 대비 WER가 1.5% 이내로 유지되어 낮은 커버리지 상황에서도 뛰어난 강건성을 입증했다.
• TIMIT 데이터셋을 활용한 실험을 통해 외부 리셋 없이도 연속적인 RNN 추론이 가능함을 검증하였으며, 단일 무한 길이의 입력 스트림에서 성능을 입증했다.