[論文レビュー] Deep Learning for Environmentally Robust Speech Recognition: An Overview of Recent Developments

Zixing Zhang, Jürgen T. Geiger+4 more|arXiv (Cornell University)|May 30, 2017

Speech and Audio Processing参考文献 137被引用数 62

ひとこと要約

この論文は、非定常な環境ノイズ下での頑健な自動音声認識（ASR）に対する深層学習アプローチを概観し、手法を単一チャネル対多チャネル、フロントエンド対バックエンドのアーキテクチャで整理し、トレーニング戦略とデータセットについて論じる。

ABSTRACT

Eliminating the negative effect of non-stationary environmental noise is a long-standing research topic for automatic speech recognition that stills remains an important challenge. Data-driven supervised approaches, including ones based on deep neural networks, have recently emerged as potential alternatives to traditional unsupervised approaches and with sufficient training, can alleviate the shortcomings of the unsupervised methods in various real-life acoustic environments. In this light, we review recently developed, representative deep learning approaches for tackling non-stationary additive and convolutional degradation of speech with the aim of providing guidelines for those involved in the development of environmentally robust speech recognition systems. We separately discuss single- and multi-channel techniques developed for the front-end and back-end of speech recognition systems, as well as joint front-end and back-end training frameworks.

研究の動機と目的

• 実生活環境におけるASRの環境音および残響の問題を動機づけ、定義する。
• チャネル数とシステム段階によって分類されたノイズ耐性のための深層学習アプローチの分類法を提供する。
• 代表的なフロントエンド、バックエンド、およびフロントエンド/バックエンドの結合技術を要約する。
• トレーニングと評価の標準コーパス、指標、および実用的な考慮事項について論じる。

提案手法

• アプローチをフロントエンド、バックエンド、およびフロントエンド/バックエンドの結合技術に分類する。
• マッピングベースとマスキングベースの強調（エンハンスメント）手法を区別する。
• 支援アーキテクチャ（DNN、CNN、RNN/LSTM、GRU）とノイズ除去および特徴抽出における役割を論じる。
• 敵対的トレーニングとWaveNet風の時系列ドメインマッピングの役割を強調する。
• マルチチャネル手法とセプストラム領域表現から時系列表現への移行を検討する。

実験結果

リサーチクエスチョン

• RQ1 非定常ノイズと残響をASRで軽減するのに最も効果的な深層学習戦略は何か。
• RQ2 フロントエンド、バックエンド、および結合構成で、シングルチャネル対マルチチャネルのアプローチはどのように比較されるか。
• RQ3 環境的に頑健な音声認識を最も支援するデータセット、評価指標、トレーニングパラダイムは何か。
• RQ4 敵対的トレーニングや時系列ドメインマッピングといった最近の進歩は頑健性にどう影響するか。

主な発見

• 深層学習アプローチは、非定常ノイズと残響に対するASRで従来の教師なし手法を上回ることができる。
• CNN、RNN/LSTM、WaveNet風の時系列ドメインモデルは、効果的なフロントエンドの強化と特徴抽出を可能にする。
• マスキングベース手法（例：IRM、IBM、位相感度マスク）は、ASRタスクにおける一部のバイナリマスキング手法よりも優れている。
• 敵対的トレーニングとマルチコンディション前学習は、多様な環境に対する頑健性を向上させる。
• セプストラム領域表現から時系列処理への移行が観察され、アーキテクチャの革新とクラウドスケールデータが支援している。