[논문 리뷰] Dense Prediction on Sequences with Time-Dilated Convolutions for Speech Recognition

Tom Sercu, Vaibhava Goel|arXiv (Cornell University)|2016. 11. 28.

Speech and Audio Processing참고 문헌 22인용 수 47

한 줄 요약

이 논문은 시간 확장 컨볼루션을 제안하여, 전체 발화에 대한 추론를 유지하면서 시간 방향으로 스트라이드 풀링을 허용함으로써 음성 인식에서 효율적이고 밀도 높은 시퀀스 레이블링을 가능하게 한다. 컴퓨터 비전에서 유도된 확장 컨볼루션을 응용함으로써 배치 정규화를 지원하고, 큰 n-gram 언어 모델을 사용하여 Hub5'00에서 7.7% WER를 달성하여 단일 모델, 단일 패assing 성능 기준으로 새로운 최고 기록을 수립한다.

ABSTRACT

In computer vision pixelwise dense prediction is the task of predicting a label for each pixel in the image. Convolutional neural networks achieve good performance on this task, while being computationally efficient. In this paper we carry these ideas over to the problem of assigning a sequence of labels to a set of speech frames, a task commonly known as framewise classification. We show that dense prediction view of framewise classification offers several advantages and insights, including computational efficiency and the ability to apply batch normalization. When doing dense prediction we pay specific attention to strided pooling in time and introduce an asymmetric dilated convolution, called time-dilated convolution, that allows for efficient and elegant implementation of pooling in time. We show results using time-dilated convolutions in a very deep VGG-style CNN with batch normalization on the Hub5 Switchboard-2000 benchmark task. With a big n-gram language model, we achieve 7.7% WER which is the best single model single-pass performance reported so far.

연구 동기 및 목표

• 프레임 단위 음성 분류를 컴퓨터 비전의 픽셀 단위 세그멘테이션과 유사하게 전체 발화에 대한 밀도 높은 예측 작업으로 재정의한다.
• 스트라이드 풀링을 시간 확장 컨볼루션으로 대체함으로써 음성 모델링에서 효율적이고 전체 발화 추론을 가능하게 한다.
• 모든 네트워크 내에서 전체 해상도 특징 맵을 유지함으로써 순차 학습 중 배치 정규화를 지원한다.
• 다운샘플링 없이 더 넓은 문맥 모델링을 가능하게 하면서도 계산 효율성을 유지함으로써 Hub5'00 벤치마크에서 성능을 향상시킨다.
• 확장 컨볼루션을 사용하여 기존 아키텍처인 스택드 뱅크니트 웹워크 등을 통합하고 확장한다.

제안 방법

• 스트라이드 풀링 레이어를 시간 확장 컨볼루션으로 대체하며, 확장 인자(dilation factor)를 풀링 스트라이드와 동일하게 설정하여 전체 공간(시간) 해상도를 유지한다.
• 확장 컨볼루션을 사용하여 다운샘플링 없이 수용영역을 확장함으로써 깊은 네트워크에서 넓은 문맥 모델링을 가능하게 한다.
• 학습 안정성 향상과 일반화 성능 향상을 위해 주파수 및 시간 차원 양쪽에 배치 정규화를 적용한다.
• 잔차 연결과 시간 확장 컨볼루션을 갖춘 VGG 스타일의 깊은 CNN을 사용하여 강력한 특징 학습을 구현한다.
• 두 단계로 모델을 학습한다: 먼저 16억 프레임에서 교차 엔트로피 학습을 수행하고, 그 다음 3억 1천만 프레임에서 Nesterov 모멘텀을 사용한 순차 학습을 수행한다.
• 디코딩에 대규모 3600만 단어 n-gram 언어 모델을 사용하며, 보존 집합에서 사전 스케일링과 음성 가중치 튜닝을 실시한다.

실험 결과

연구 질문

• RQ1 시간 확장 컨볼루션을 사용한 밀도 높은 예측은 배치 정규화를 지원하면서도 음성 인식에서 효율적이고 전체 발화 추론을 가능하게 할 수 있는가?
• RQ2 스트라이드 풀링을 확장 컨볼루션으로 대체할 경우 Hub5'00 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ3 시간 확장 컨볼루션은 기존 아키텍처인 스택드 뱅크니트 웹워크와 같은 것을 통합하고 확장할 수 있는가?
• RQ4 이 아키텍처에서 대규모 n-gram 언어 모델을 사용할 경우 단일 모델, 단일 패assing WER에 어떤 영향을 미치는가?
• RQ5 이 방법은 하이브리드 HMM/NN 및 엔드 투 엔드 음성 인식 모델 모두를 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 대규모 3600만 단어 n-gram 언어 모델을 사용하여 Hub5'00에서 7.7% WER를 달성하였으며, 이는 현재까지 보고된 바 중 단일 모델, 단일 패assing 성능에서 최고 수준이다.
• 기존 연구 대비 Hub5'00에서 WER를 9.4%에서 8.5%로 감소시켜 상대적 개선률 10%를 기록하였으며, 시간 확장 컨볼루션의 효과를 입증한다.
• 전체 발화 해상도 유지 덕분에 순차 학습 중에 배치 정규화를 성공적으로 적용하여 일반화 성능 향상이 이루어졌다.
• 특정 확장 인자를 사용할 경우 이 아키텍처가 스택드 뱅크니트 웹워크와 동등함을 입증하여 기존 모델들을 통합적인 시각으로 볼 수 있게 하였다.
• 다운샘플링 없이도 효율적인 시간 풀링을 가능하게 하여 더 깊은 네트워크와 넓은 문맥 모델링이 가능해졌으며, 계산 효율성은 유지되었다.
• 단지 n-gram 언어 모델만을 사용해도 기존 시스템을 초월하는 성능을 기록하였으며, RNN/LM 시스템을 통한 리스크코딩을 통해 추가 성능 향상이 가능하다.