[논문 리뷰] Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends

Siddique Latif, Rajib Rana외 4명|arXiv (Cornell University)|2020. 01. 02.

Speech Recognition and Synthesis참고 문헌 363인용 수 67

한 줄 요약

ASR, SR, SER 전반에 걸친 음성의 심층 표현 학습에 대한 포괄적 조사로, 모델, 기법, 도전과제, 그리고 향후 방향을 다룹니다.

ABSTRACT

Research on speech processing has traditionally considered the task of designing hand-engineered acoustic features (feature engineering) as a separate distinct problem from the task of designing efficient machine learning (ML) models to make prediction and classification decisions. There are two main drawbacks to this approach: firstly, the feature engineering being manual is cumbersome and requires human knowledge; and secondly, the designed features might not be best for the objective at hand. This has motivated the adoption of a recent trend in speech community towards utilisation of representation learning techniques, which can learn an intermediate representation of the input signal automatically that better suits the task at hand and hence lead to improved performance. The significance of representation learning has increased with advances in deep learning (DL), where the representations are more useful and less dependent on human knowledge, making it very conducive for tasks like classification, prediction, etc. The main contribution of this paper is to present an up-to-date and comprehensive survey on different techniques of speech representation learning by bringing together the scattered research across three distinct research areas including Automatic Speech Recognition (ASR), Speaker Recognition (SR), and Speaker Emotion Recognition (SER). Recent reviews in speech have been conducted for ASR, SR, and SER, however, none of these has focused on the representation learning from speech -- a gap that our survey aims to bridge.

연구 동기 및 목표

• 음성에서 분산된 표현 학습 연구 간의 간극을 메우고 ASR, SR, SER 전반에 걸친 최신 개요를 제공한다.
• 음성 처리에 사용되는 심층 학습 모델과 표현 학습 기법을 요약한다.
• 심층 음성 표현의 도전과제, 핵심 특성 및 최근 발전에 대해 논의한다.
• 연구자들을 안내하기 위한 데이터 셋, 평가 척도, 미래 트렌드를 강조한다.

제안 방법

• 음성에서의 전통적 특징 학습과 심층 특징 학습 비교 및 수작업으로 설계된 특징에서 자동으로 학습된 표현으로의 전환을 검토한다.
• 음성 표현 학습에 사용되는 심층학습 아키텍처(DNNs, CNNs, RNNs, AEs, VAEs, GANs)와 그 역할을 요약한다.
• ASR, SR, SER에서의 심층 표현 학습 적용과 관련 학습 패러다임(지도학습, 비지도학습, 전이학습, 강화학습)을 논의한다.
• 음성 표현 학습 연구에서 일반적으로 사용되는 데이터 세트와 평가 지표를 개요한다.
• 소음 강건성, 데이터 요구사항, 일반화 등의 과제를 강조하고 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 음성 처리에 적용된 대표적인 심층 표현 학습 기법은 무엇인가?
• RQ2 표현 학습 접근법이 ASR, 화자 인식, 감정 인식 영역에서 어떻게 성능을 발휘하는가?
• RQ3 음성에서 심층 표현 학습을 형성하는 도전과제와 향후 트렌드는 무엇인가?

주요 결과

• 본 논문은 ASR, SR, SER의 세 가지 핵심 음성 영역에서 표현 학습 기법에 대한 최신 조사를 제공합니다.
• 여기에는 DNNs, CNNs, RNNs, AEs, VAEs, GANs 및 심층 자기회귀 모델을 포함한 심층 모델과 표현이 다룹니다.
• 적용 맥락, 도전과제 및 최근 발전과 함께 이 분야에서 사용되는 데이터 세트와 평가 지표를 논의합니다.
• 수작업 특징 공학에서 자동 표현 학습으로의 전환과 데이터 가용성 및 모델 아키텍처의 중요성을 강조합니다.
• 음성 연구에서 심층 표현 학습의 향후 추세와 방향을 개요합니다.