[논문 리뷰] Recent Progresses in Deep Learning based Acoustic Models (Updated)

Dong Yu, Jinyu Li|arXiv (Cornell University)|2018. 04. 25.

Speech Recognition and Synthesis참고 문헌 156인용 수 3

한 줄 요약

이 논문은 2015년 이후 자동 음성 인식(ASR)을 위한 딥러닝 기반 음향 모델의 최근 발전을 검토하며, 가변 길이의 맥락을 활용하는 모델들(예: RNN, CNN), 엔드 투 엔드 아키텍처(CTC, 주의 기반 seq2seq), 내성적 강화 기법(적응, 음성 강화), 그리고 효율적인 디코딩 기법(지식 정복, 양자화)을 중심으로 다룬다. 특히 원거리 환경과 자원이 부족한 환경에서의 성능 향상을 위해 공동 최적화 및 내성적 훈련을 통해 성능 향상이 이루어졌음을 강조한다.

ABSTRACT

In this paper, we summarize recent progresses made in deep learning based acoustic models and the motivation and insights behind the surveyed techniques. We first discuss acoustic models that can effectively exploit variable-length contextual information, such as recurrent neural networks (RNNs), convolutional neural networks (CNNs), and their various combination with other models. We then describe acoustic models that are optimized end-to-end with emphasis on feature representations learned jointly with rest of the system, the connectionist temporal classification (CTC) criterion, and the attention-based sequence-to-sequence model. We further illustrate robustness issues in speech recognition systems, and discuss acoustic model adaptation, speech enhancement and separation, and robust training strategies. We also cover modeling techniques that lead to more efficient decoding and discuss possible future directions in acoustic model research.

연구 동기 및 목표

• 2015년 이후 딥러닝 기반 음향 모델의 최근 진전을 요약하는 것.
• RNN, CNN, CTC, 주의 기반 모델 등의 핵심 아키텍처의 동기와 핵심 메커니즘을 분석하는 것.
• 노이즈, 반향, 발화자 다양성 등의 실제 환경 조건에서의 내성적 강화를 향상시키기 위한 기법을 검토하는 것.
• 모델 압축 및 양자화와 같은 기법을 통해 실시간 구현을 가능하게 하는 효율적인 디코딩 방법을 탐색하는 것.
• 특히 원거리 및 자원이 부족한 ASR를 위한 열린 과제와 향후 연구 방향을 식별하는 것.

제안 방법

• 장기 기억을 유지하는 은닉 상태를 통해 음성 시퀀스의 장기적 시간 의존성을 모델링하기 위해 순환 신경망(RNN), 특히 장기 단기 기억(LSTM) 유닛을 사용한다.
• 국소적 수신 필드를 갖춘 합성곱 신경망(CNN)을 활용해 음성 입력으로부터 계층적인 맥락적 특징을 추출함으로써 가변 길이 맥락의 효과적인 모델링을 가능하게 한다.
• 연결주의 시간 분류(CTC) 기준을 적용하여 강제 정렬이 필요 없는 원시 또는 고수준 특징을 직접 번역 시퀀스로 매핑하는 엔드 투 엔드 모델을 훈련한다.
• 주의 기반 순서-순서 모델을 도입하여 소프트 주의 메커니즘을 통해 정렬 없이 음향 모델링과 언어 모델링 구성 요소를 공동 최적화한다.
• 다중 발화자 환경에서의 음성 분리 성능 향상을 위해 순열 불변 훈련(PIT)을 적용하여 손실 계산 시 순열의 모호성을 최소화한다.
• 지식 정복과 양자화 기법을 사용하여 정확도를 유지하면서도 더 작은 크기이자 더 빠른 디코딩이 가능한 모델로 대규모 모델을 압축한다.

실험 결과

연구 질문

• RQ1 고정 맥락 DNN에 비해 음향 모델은 가변 길이 맥락 정보를 어떻게 더 효과적으로 활용할 수 있는가?
• RQ2 엔드 투 엔드 모델(CTC 및 주의 기반)이 음향 모델링과 언어 모델링을 공동 최적화할 때의 장점과 한계는 무엇인가?
• RQ3 노이즈 또는 다중 발화자 환경에서의 내성적 강화를 향상시키기 위해 음성 강화 및 분리 기법을 음향 모델링에 어떻게 통합할 수 있는가?
• RQ4 실시간 ASR 시스템에서 인식 정확도를 유지하면서 추론 비용을 효과적으로 줄일 수 있는 전략은 무엇인가?
• RQ5 제한된 데이터로 새로운 발화자나 환경에 동적으로 적응할 수 있도록 모델을 어떻게 설계할 수 있는가?

주요 결과

• LSTM 및 CNN 기반 하이브리드 모델은 장기적 의존성과 가변 길이 맥락을 효과적으로 모델링함으로써 기존의 DNN/HMM 시스템을 크게 능가한다.
• 대규모 데이터셋(예: 수십만 시간 분량)에서 훈련된 CTC 및 주의 기반 모델을 사용한 엔드 투 엔드 모델은 공동 최적화의 효과를 입증하며 최신 성능을 달성한다.
• 순열 불변 훈련(PIT)은 특히 동성별 상황에서의 다중 발화자 음성 분리 성능을 향상시켜, 다양한 발화자 순열 간의 강력한 손실 계산을 가능하게 한다.
• 지식 정복과 모델 양자화 기법은 계산 비용을 최대 1/3까지 줄이면서도 높은 정확도를 유지하여 엣지 디바이스에 효율적으로 구현할 수 있도록 한다.
• 데이터 증강 및 도메인 적응과 같은 내성적 훈련 전략은 훈련-테스트 분포의 이질성으로 인한 성능 저하를 완화하는 데 기여한다.
• 언어 모델링을 음향 모델링과 공동 최적화하는 미래의 모델, 특히 음절 수준의 단위를 사용하는 모델은 새로운 어휘 항목의 통합을 더 쉽게 하고 스케일업할 수 있도록 할 수 있다.