[논문 리뷰] Sequence-to-Sequence Speech Recognition with Time-Depth Separable Convolutions

Awni Hannun, Ann Lee외 2명|arXiv (Cornell University)|2019. 04. 04.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 시간-깊이 분리형(TDS) 컨볼루션을 사용하여, LibriSpeech에서 최고 수준의 WER를 달성하면서도 RNN 기반 기준보다 10배 이상 효율적인 완전 컨볼루션형 순서-순서 음성 인식 모델을 제안한다. TDS 블록은 시간적 및 채널별 집계를 분리하여, 적은 파라미터로 넓은 수신장(receptive field)을 가능하게 하며, 컨볼루션형 언어 모델과 함께 안정적인 비트 서치를 통해 정확도를 향상시킨다. 이로 인해 기존 순서-순서 모델 대비 노이즈가 많은 LibriSpeech에서 WER를 22% 이상 감소시킨다.

ABSTRACT

We propose a fully convolutional sequence-to-sequence encoder architecture with a simple and efficient decoder. Our model improves WER on LibriSpeech while being an order of magnitude more efficient than a strong RNN baseline. Key to our approach is a time-depth separable convolution block which dramatically reduces the number of parameters in the model while keeping the receptive field large. We also give a stable and efficient beam search inference procedure which allows us to effectively integrate a language model. Coupled with a convolutional language model, our time-depth separable convolution architecture improves by more than 22% relative WER over the best previously reported sequence-to-sequence results on the noisy LibriSpeech test set.

연구 동기 및 목표

• 강력한 RNN 기반 기준 모델을 능가하는 고효율성과 고정확도의 순서-순서 음성 인식 모델을 개발하는 것.
• 시간-깊이 분리형 컨볼루션을 사용해 순환층을 완전 컨볼루션형 인코더로 대체하여 모델 복잡도와 추론 시간을 감소시키는 것.
• 큰 비트 크기에서 정확도 저하 없이 효과적으로 컨볼루션형 언어 모델을 통합할 수 있는 안정적이고 확장 가능한 비트 서치 추론을 가능하게 하는 것.
• 효율성이 떨어지는 순차적 구성 요소인 스케줄링 샘플링과 위치 기반 어텐션을 제거하면서도 인식 성능을 유지하거나 향상시키는 것.

제안 방법

• 인코더는 시간-깊이 분리형(TDS) 컨볼루션 블록을 사용하며, 먼저 커널 크기가 k×1인 2D 컨볼루션을 시간 축에 대해 적용한 후, 두 개의 1×1 컨볼루션과 ReLU 활성화 함수를 적용하는 완전 연결 블록을 거친다.
• TDS 블록은 모든 차원(시간 포함)에 대해 레이어 정규화와 잔차 연결을 포함하여 훈련 안정성과 일반화 성능을 향상시킨다.
• 세 개의 서브샘플링 레이어를 사용하며, 스트라이드 2를 적용하여 채널 수를 증가시켜 시간 정보를 압축하면서도 맥락을 유지한다.
• 디코더는 훈련 중 티처 포싱을 사용하고, 복잡한 신경 어텐션을 대체하기 위해 병렬 계산이 가능한 간소화된 내적곱 어텐션 메커니즘을 적용한다.
• 안정적인 비트 서치 절차를 개발하여 비트 크기가 80에 이르는 경우에도 정확도를 유지하며, 컨볼루션형 언어 모델과의 효과적인 통합을 가능하게 한다.
• 추론 중에 컨볼루션형 언어 모델을 통합하여 n-그램 기반 모델 성능을 향상시키며, 비트 서치가 언어 모델 제약 조건을 효율적으로 처리한다.

실험 결과

연구 질문

• RQ1 시간-깊이 분리형 컨볼루션을 사용한 완전 컨볼루션 인코더는 RNN 기반 순서-순서 모델보다 더 낮은 WER를 달성하면서도 상당히 더 효율적인가?
• RQ2 스케줄링 샘플링과 위치 기반 어텐션과 같은 순차적 종속성을 제거하면 성능이 떨어지는가, 아니면 더 단순하고 효율적인 대체 방법이 정확도를 유지할 수 있는가?
• RQ3 컨볼루션형 언어 모델을 통합할 때 큰 비트 크기에서도 효과적으로 확장 가능한 안정적인 비트 서치 절차를 설계할 수 있는가?
• RQ4 수신장의 크기가 WER에 어떤 영향을 미치며, 신뢰할 수 있는 순서-순서 인식을 위해 최소한의 임계값은 무엇인가?
• RQ5 효율적인 비트 서치와 TDS 기반 인코더와 함께 컨볼루션형 언어 모델을 조합했을 때 WER는 어느 정도 향상될 수 있는가?

주요 결과

• TDS 컨볼루션 모델은 LibriSpeech dev-clean에서 WER 5.10%, dev-other에서 14.99%를 기록하여 이전에 보고된 바 있는 최고의 순서-순서 결과를 초월한다.
• 노이즈가 많은 LibriSpeech 테스트 세트에서 기존 순서-순서 모델 대비 WER를 22% 이상 상대적으로 감소시켜 최고 성능을 달성한다.
• LibriSpeech에서 한 에포크 훈련에 단 7분이 소요되어, 동일한 서브샘플링 요소를 가진 RNN 기준보다 10배 이상 빠른 훈련 속도를 확보한다.
• 비트 크기가 80인 비트 서치에서는 컨볼루션형 언어 모델을 사용할 경우 정확도가 높게 유지되며, 특히 dev-other 세트에서 일관된 WER 향상이 관찰된다.
• 수신장이 임계값 이하로 떨어지면 모델의 WER가 급격히 악화되며, 이는 충분한 맥락 정보가 디코더 쿼리의 모호성 해소에 필수적임을 시사한다.
• 스케줄링 샘플링과 위치 기반 어텐션의 부재가 성능에 악영향을 주지 않으며, 더 단순하고 효율적인 대체 방법을 통해 강력한 성능을 달성한다.