[논문 리뷰] Very Deep Convolutional Neural Networks for Robust Speech Recognition

Yanmin Qian, Philip C. Woodland|arXiv (Cornell University)|2016. 10. 02.

Speech Recognition and Synthesis참고 문헌 24인용 수 12

한 줄 요약

이 논문은 소음 환경에서 강건한 음성 인식을 위해 최대 10개의 합성곱 레이어를 가진 매우 깊은 합성곱 신경망(VDCNN)을 제안한다. 필터 크기와 풀링 크기를 줄이고 입력 특징 맵 차원을 늘리며 전략적 패딩과 특징 선택을 적용함으로써, VDCNN은 Aurora 4 작업에서 7.09%의 단어 오류율(WER)을 달성한다. 이는 전면적 노이즈 제거나 순서 기반 학습 없이도 표준 CNN과 최신 기준 성능을 크게 능가한다.

ABSTRACT

This paper describes the extension and optimization of our previous work on very deep convolutional neural networks (CNNs) for effective recognition of noisy speech in the Aurora 4 task. The appropriate number of convolutional layers, the sizes of the filters, pooling operations and input feature maps are all modified: the filter and pooling sizes are reduced and dimensions of input feature maps are extended to allow adding more convolutional layers. Furthermore appropriate input padding and input feature map selection strategies are developed. In addition, an adaptation framework using joint training of very deep CNN with auxiliary features i-vector and fMLLR features is developed. These modifications give substantial word error rate reductions over the standard CNN used as baseline. Finally the very deep CNN is combined with an LSTM-RNN acoustic model and it is shown that state-level weighted log likelihood score combination in a joint acoustic model decoding scheme is very effective. On the Aurora 4 task, the very deep CNN achieves a WER of 8.81%, further 7.99% with auxiliary feature joint training, and 7.09% with LSTM-RNN joint decoding.

연구 동기 및 목표

• 표준 DNN와 浅층 CNN이 성능을 발휘하지 못하는 소음이 많거나 조건이 맞지 않는 환경에서 음성 인식 시스템의 강건성을 향상시키는 것.
• 컴퓨터 비전 분야에서의 성공을 바탕으로 매우 깊은 CNN 아키텍처가 자동 음성 인식에 효과적으로 적용될 수 있는지 탐구하는 것.
• 최적의 성능을 내기 위해 필터 크기, 풀링 전략, 입력 특징 맵 구성 등의 아키텍처 설계 선택 사항을 탐색하는 것.
• 보조 특징(i-vector, fMLLR)과의 공동 학습 전략을 개발하고 평가하여 강건성을 추가로 향상시키는 것.
• VDCNN과 LSTM-RNN 모델을 상태 수준의 가중 로그우도 점수 조합을 사용한 공동 디코딩으로 조합함으로써 효과를 입증하는 것.

제안 방법

• 필터 크기와 풀링 크기를 줄이고 입력 특징 맵 차원을 늘림으로써 최대 10개의 합성곱 레이어를 가진 매우 깊은 CNN(VDCNN)을 설계한다.
• 학습 안정성 향상과 매우 깊은 네트워크에서의 성능 향상을 위해 특징 맵의 시간 및 주파수 차원에 대해 패딩을 구현한다.
• 동적 특징을 사용하지 않고 정적 특징만을 입력으로 사용하며, 이는 소음에 강건한 특징으로서 정적 특징이 더 효과적이라는 것을 발견했다.
• 모델을 화자 및 채널 변동에 적응시키기 위해 VDCNN과 보조 특징(i-vector 및 fMLLR)을 공동 학습시킨다.
• VDCNN과 LSTM-RNN 음성 모델을 공동 디코딩에서 상태 수준의 가중 로그우도 점수 조합을 사용하여 조합함으로써 표준 라티스 조합 방법을 능가한다.
• 학습된 가중치를 사용해 상태 수준에서 VDCNN과 LSTM-RNN의 출력을 조합하는 새로운 공동 디코딩 기법을 도입하여 강건성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다섯 개 이상의 합성곱 레이어를 가진 매우 깊은 CNN이 표준 얕은 CNN에 비해 소음이 많은 음성 인식 작업에서 단어 오류율(WER)을 크게 향상시킬 수 있는가?
• RQ2 필터 크기, 풀링 전략, 입력 특징 맵 구성 등의 아키텍처 선택 사항이 음성 인식에서 깊은 CNN의 성능에 미치는 영향은 무엇인가?
• RQ3 정적 특징만을 사용하는 것이 깊은 CNN에서 소음에 강건한 음성 인식에 동적 특징을 사용하는 것보다 우수한가?
• RQ4 보조 특징(i-vector 및 fMLLR)과의 공동 학습이 순서 기반 학습이나 전면적 강화 없이도 매우 깊은 CNN에서 WER를 추가로 감소시킬 수 있는가?
• RQ5 VDCNN과 LSTM-RNN 모델을 조합할 때, 표준 최소 베이즈 위험(MBR) 라티스 조합보다 상태 수준의 가중 로그우도 점수 조합이 더 효과적인가?

주요 결과

• 제안된 매우 깊은 CNN(VDCNN)은 Aurora 4 작업에서 8.81%의 단어 오류율(WER)을 달성하였으며, 이는 표준 얕은 CNN 기준 대비 17.0% 상대적 WER 감소를 의미한다.
• 보조 특징(i-vector 및 fMLLR)과의 공동 학습은 WER를 7.99%로 감소시켜 기준 대비 25.0% 상대적 WER 감소를 달성한다.
• 최종 공동 디코딩 시스템은 VDCNN과 LSTM-RNN을 상태 수준의 가중 로그우도 점수 조합을 사용해 조합하여 7.09%의 WER를 달성하였으며, 이는 발표 당시 Aurora 4에서 보고된 최고 성능이다.
• 패딩 없이 시간 풀링만을 사용하는 것은 효과가 없으며, 시간 및 주파수 차원에 모두 패딩을 적용하는 것이 매우 깊은 CNN에서 성능 향상에 크게 기여한다.
• VDCNN에 정적 특징만을 입력으로 사용할 경우 동적 특징을 사용하는 것보다 더 우수한 성능을 내며, 깊은 아키텍처가 정적 입력으로부터 시간적 동역학을 더 효과적으로 학습할 수 있음을 시사한다.
• 제안된 상태 수준의 가중 로그우도 점수 조합은 표준 Kaldi MBR 라티스 조합을 능가하며, VDCNN과 LSTM-RNN 모델의 상호보완적 강점을 효과적으로 활용하는 공동 디코딩 기법의 우수성을 입증한다.