[論文レビュー] Graph based manifold regularized deep neural networks for automatic speech recognition

Vikrant Singh Tomar, Richard C. Rose|arXiv (Cornell University)|Jun 19, 2016

Speech Recognition and Synthesis参考文献 24被引用数 4

ひとこと要約

本稿では、学習中に音声特徴空間内の局所的近傍関係を保持することによって、自動音声認識（ASR）を向上させるための多様体正則化深層ニューラルネットワーク（MRDNN）を提案する。DNN最適化基準にグラフベースの多様体制約を組み込むことで、Aurora-2データセットでは最大37％の相対的語誤り率（WER）低減、Aurora-4では最大14.43％の低減を達成し、隠れ層における特徴の凝縮性とロバスト性の向上を示している。

ABSTRACT

Deep neural networks (DNNs) have been successfully applied to a wide variety of acoustic modeling tasks in recent years. These include the applications of DNNs either in a discriminative feature extraction or in a hybrid acoustic modeling scenario. Despite the rapid progress in this area, a number of challenges remain in training DNNs. This paper presents an effective way of training DNNs using a manifold learning based regularization framework. In this framework, the parameters of the network are optimized to preserve underlying manifold based relationships between speech feature vectors while minimizing a measure of loss between network outputs and targets. This is achieved by incorporating manifold based locality constraints in the objective criterion of DNNs. Empirical evidence is provided to demonstrate that training a network with manifold constraints preserves structural compactness in the hidden layers of the network. Manifold regularization is applied to train bottleneck DNNs for feature extraction in hidden Markov model (HMM) based speech recognition. The experiments in this work are conducted on the Aurora-2 spoken digits and the Aurora-4 read news large vocabulary continuous speech recognition tasks. The performance is measured in terms of word error rate (WER) on these tasks. It is shown that the manifold regularized DNNs result in up to 37% reduction in WER relative to standard DNNs.

研究の動機と目的

• 音声認識におけるDNNベースの音響モデルにおける過学習と一般化性能の低さという課題に対処すること。
• 音声特徴空間内の局所的近傍構造を保持することによって、特徴表現学習を改善すること。
• 事前学習に依存せずに訓練のロバスト性を高める正則化フレームワークを開発すること。
• 多様体正則化がノイズありおよびノイズなし音声認識シナリオにおけるWERに与える影響を評価すること。
• 初期学習エポックでのみ多様体制約を適用する場合の計算コストと性能のトレードオフを調査すること。

提案手法

• 音声特徴ベクトルから構築されたグラフに基づく多様体正則化項を定式化し、局所的近傍関係を符号化する。
• 標準的なDNN損失と、隠れ層表現における局所構造保持からの逸脱をペナルティ化する多様体正則化項を組み合わせた目的関数を採用する。
• グラフラプラシアンを用いて多様体構造をモデル化し、入力空間における近接する点が隠れ表現空間でも近接するように正則化項を強制する。
• GMM-HMM ASRシステムにおける判別的特徴抽出を目的としたボトルネック層を備えたタンデムDNNに本手法を適用する。
• 修正された目的関数を用いた誤差逆伝播法を用いた訓練プロセスを実施し、局所性保持の度合を定量化するための収縮比を用いる。
• アブレーションスタディとして、最初の10エポックにのみ多様体制約を適用し、その後は標準的な逆伝播法を用いる訓練を評価する。

実験結果

リサーチクエスチョン

• RQ1 多様体正則化により、局所的データ構造を保持することで、DNNの一般化性能が音声認識において向上するか？
• RQ2 多様体正則化は、ノイズありおよびノイズなし音声認識タスクにおける語誤り率（WER）をどの程度低減するか？
• RQ3 初期学習エポックでのみ多様体制約を適用する場合、完全な正則化訓練と同等の性能が得られるか？
• RQ4 多様体正則化は、逆伝播法における勾配推定のロバスト性にどのように影響を与えるか？
• RQ5 本手法は、事前学習や複雑なアーキテクチャに依存せずに、隠れ層における特徴の凝縮性を向上させることができるか？

主な発見

• MRDNNは、標準的なDNNと比較して、Aurora-2の連結数字認識タスクで最大37％の相対的WER低減を達成した。
• Aurora-4の大規模語彙連続音声認識タスクでは、クリーンな学習データでは最大14.43％、混合ノイズデータでは10％のWER低減を達成した。
• 最初の10エポックにのみ多様体正則化を適用するMRDNN_10バージョンは、クリーンなAurora-2で0.39％のWERを達成し、標準DNNと比較して31.5％の相対的改善を示した。
• 収縮比の分析により、MRDNNは隠れ層表現における音声特徴ベクトル間の局所的近傍関係を保持していることが確認された。
• 多様体正則化により、逆伝播法における勾配推定がよりロバストになったことから、訓練の安定性が向上したと示唆された。
• 本手法は、複数のノイズ条件およびデータセットにおいて一貫した性能向上を示し、強力な一般化能力を有していることが示された。