[論文レビュー] Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends

Siddique Latif, Rajib Rana+4 more|arXiv (Cornell University)|Jan 2, 2020

Speech Recognition and Synthesis参考文献 363被引用数 67

ひとこと要約

ASR、SR、SER にまたがる音声の深層表現学習の総合的な調査で、モデル、手法、課題、将来の方向性を網羅する。

ABSTRACT

Research on speech processing has traditionally considered the task of designing hand-engineered acoustic features (feature engineering) as a separate distinct problem from the task of designing efficient machine learning (ML) models to make prediction and classification decisions. There are two main drawbacks to this approach: firstly, the feature engineering being manual is cumbersome and requires human knowledge; and secondly, the designed features might not be best for the objective at hand. This has motivated the adoption of a recent trend in speech community towards utilisation of representation learning techniques, which can learn an intermediate representation of the input signal automatically that better suits the task at hand and hence lead to improved performance. The significance of representation learning has increased with advances in deep learning (DL), where the representations are more useful and less dependent on human knowledge, making it very conducive for tasks like classification, prediction, etc. The main contribution of this paper is to present an up-to-date and comprehensive survey on different techniques of speech representation learning by bringing together the scattered research across three distinct research areas including Automatic Speech Recognition (ASR), Speaker Recognition (SR), and Speaker Emotion Recognition (SER). Recent reviews in speech have been conducted for ASR, SR, and SER, however, none of these has focused on the representation learning from speech -- a gap that our survey aims to bridge.

研究の動機と目的

• 音声における散在する表現学習研究のギャップを埋め、ASR、SR、SERを横断する最新の概観を提供する。
• 音声処理に用いられる深層学習モデルと表現学習手法を要約する。
• 音声深層表現の課題と重要な特徴、および最近の進展について議論する。
• 研究者を導くためのデータセット、評価指標、将来の動向を強調する。

提案手法

• 音声における従来の特徴学習と深層特徴学習を比較し、手作り特徴から自動学習表現への移行を検討する。
• 音声表現学習に用いられる深層学習アーキテクチャ（DNNs、CNNs、RNNs、AEs、VAEs、GANs）とそれぞれの役割を要約する。
• ASR、SR、SERにおける深層表現学習の適用と対応する訓練パラダイム（教師あり、教師なし、転移、強化）を議論する。
• 音声表現学習研究で一般的に用いられるデータセットと評価指標の概要を示す。
• ノイズ耐性、データ要件、一般化といった課題を強調し、今後の研究方向を示す。

実験結果

リサーチクエスチョン

• RQ1 音声処理に適用される顕著な深層表現学習手法は何か？
• RQ2 表現学習アプローチはASR、話者認識、感情認識の領域でどのように機能するか？
• RQ3 音声の深層表現学習を形作る課題と将来の動向は何か？

主な発見

• 本論文は、ASR、SR、SERという3つの主要な音声分野における表現学習手法の最新の調査を提供する。
• DNNs、CNNs、RNNs、AEs、VAEs、GANs、および深層自己回帰モデルを含む深層モデルと表現を網羅している。
• 応用文脈、課題、最近の進展とともに、この分野で用いられるデータセットと評価指標を議論している。
• 手動特徴設計から自動表現学習への移行と、データの入手可能性およびモデルアーキテクチャの重要性を強調している。
• 音声研究における深層表現学習の将来の傾向と方向性を概説している。