[論文レビュー] Deep Learning for Distant Speech Recognition

Mirco Ravanelli|arXiv (Cornell University)|Jan 1, 2017

Speech and Audio Processing被引用数 6

ひとこと要約

本学位論文は、騒音および混响環境下における遠距離音声認識（DSR）の耐障害性を向上させるための新しい深層学習手法を提案する。実際のデータシミュレーション、DNNにおける非対称な文脈モデリング、および共同バッチ正規化と勾配重み付けを用いた複数のDNNを統合する協調的「深層ニューラルネットワークのネットワーク」（NoDNN）フレームワークを導入し、認識精度を向上させた。実際のDSRベンチマークおよびシミュレートされたDSRベンチマークにおいて、最先端の性能を達成した。

ABSTRACT

Deep learning is an emerging technology that is considered one of the most promising directions for reaching higher levels of artificial intelligence. Among the other achievements, building computers that understand speech represents a crucial leap towards intelligent machines. Despite the great efforts of the past decades, however, a natural and robust human-machine speech interaction still appears to be out of reach, especially when users interact with a distant microphone in noisy and reverberant environments. The latter disturbances severely hamper the intelligibility of a speech signal, making Distant Speech Recognition (DSR) one of the major open challenges in the field. This thesis addresses the latter scenario and proposes some novel techniques, architectures, and algorithms to improve the robustness of distant-talking acoustic models. We first elaborate on methodologies for realistic data contamination, with a particular emphasis on DNN training with simulated data. We then investigate on approaches for better exploiting speech contexts, proposing some original methodologies for both feed-forward and recurrent neural networks. Lastly, inspired by the idea that cooperation across different DNNs could be the key for counteracting the harmful effects of noise and reverberation, we propose a novel deep learning paradigm called network of deep neural networks. The analysis of the original concepts were based on extensive experimental validations conducted on both real and simulated data, considering different corpora, microphone configurations, environments, noisy conditions, and ASR tasks.

研究の動機と目的

• 騒音および混響が伴う遠距離話者状況における耐障害性のある自動音声認識（ASR）の課題に取り組む。
• データ汚染技術のリアリズムを高めることで、シミュレートされたデータで学習したDNN音声モデルの一般化性能を向上させる。
• 非対称な文脈ウィンドウと変更されたRNNアーキテクチャを用いて、時間的音声文脈のモデリングを強化する。
• 複数のDNNを共同で最適化することで耐障害性を向上させる協調的深層学習フレームワーク「深層ニューラルネットワークのネットワーク」（NoDNN）を開発する。
• 多様なコーパス、マイク設定、騒音環境において、提案手法の妥当性を検証し、実世界への適用可能性を確認する。

提案手法

• DNN学習におけるデータ汚染のリアリズムを向上させるために、現実的な部屋インパulse応答（RIR）をシミュレートするための方向性画像法を提案する。
• 将来の文脈を過去の文脈よりも重視することで、長期的な音声依存関係をよりよくモデル化できるように、フィードフォワードDNNにおける非対称な文脈ウィンドウを導入する。
• リセットゲートを削除し、ReLU活性化関数を適用し、バッチ正規化を適用することで、ゲート付き再帰ユニット（GRUs）を改変し、学習の安定性と性能を向上させる。
• 複数のDNNが共有バッチ正規化と勾配重み付けを用いて共同で訓練される「深層ニューラルネットワークのネットワーク」（NoDNN）フレームワークを開発し、特徴表現の質と耐障害性を向上させる。
• 複数のDNN間でバッチ正規化を統合することで、勾配の安定化を図り、騒音および混響環境下での一般化性能を向上させる。
• CHiME、REVERBなど複数のコーパス、マイク構成、騒音条件において、実データおよびシミュレートデータを用いた広範な実験的検証により、耐障害性を評価する。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされたデータをどれほどリアリスティックにすることで、DNNの一般化性能がDistant Speech Recognition（DSR）で向上するか？
• RQ2 フィードフォワードDNNにおける非対称な文脈モデリングは、騒音および混響環境下で認識性能を向上させることができるか？
• RQ3 リセットゲートの削除、ReLU活性化関数の適用、バッチ正規化の導入といったGRUのアーキテクチャ変更は、Distant Speech Recognition（DSR）における性能にどのように影響を与えるか？
• RQ4 複数のDNNを協調的に学習させるフレームワークは、単一モデルアプローチを上回る性能を発揮できるか？
• RQ5 バッチ正規化と勾配重み付けは、DSRにおける複数DNNの効果的な共同学習を可能にする役割を果たすか？

主な発見

• RIRシミュレーションに向けた方向性画像法は、合成データのリアリズムを著しく向上させ、DSRにおけるDNN学習の一般化性能を向上させた。
• フィードフォワードDNNにおける非対称な文脈ウィンドウは、対称なウィンドウよりも低い単語誤り率（WER）を達成し、特に混響環境下で将来の音声文脈をよりよく捉えることができた。
• リセットゲートを削除し、ReLU活性化関数とバッチ正規化を適用した変更版GRUsは、CHiME-3およびREVERBチャレンジにおいて収束性が向上し、WERが低くなった。
• 「深層ニューラルネットワークのネットワーク」（NoDNN）フレームワークは、CHiME-3およびREVERBチャレンジで最先端の性能を達成し、単一モデルベースラインと比較して最大15％の相対的WER低減を達成した。
• NoDNNフレームワークにおける共同バッチ正規化と勾配重み付けは、学習の安定化と耐障害性の向上に寄与し、アブレーションスタディにより、性能向上におけるその重要性が確認された。
• 複数のコーパスおよびマイク構成における広範な実験により、提案手法が多様な実世界環境にわたって一般化できることを確認し、耐障害性ASRにおける実用的価値を裏付けた。