[論文レビュー] Very Deep Convolutional Neural Networks for Robust Speech Recognition

Yanmin Qian, Philip C. Woodland|arXiv (Cornell University)|Oct 2, 2016

Speech Recognition and Synthesis参考文献 24被引用数 12

ひとこと要約

この論文は、騒音環境下でのロバストな音声認識を最適化した、最大10層の畳み込み層を備えた非常に深い畳み込みニューラルネットワーク（VDCNN）を提案する。フィルターサイズとプーリングサイズを小さくし、入力特徴マップの次元数を増やし、戦略的なパディングと特徴選択を適用することで、VDCNNはAurora 4タスクで7.09%の語誤り率（WER）を達成した。これは、前処理によるノイズ除去や系列学習を用いない状態でも、標準的なCNNや最先端のベースラインを著しく上回った結果である。

ABSTRACT

This paper describes the extension and optimization of our previous work on very deep convolutional neural networks (CNNs) for effective recognition of noisy speech in the Aurora 4 task. The appropriate number of convolutional layers, the sizes of the filters, pooling operations and input feature maps are all modified: the filter and pooling sizes are reduced and dimensions of input feature maps are extended to allow adding more convolutional layers. Furthermore appropriate input padding and input feature map selection strategies are developed. In addition, an adaptation framework using joint training of very deep CNN with auxiliary features i-vector and fMLLR features is developed. These modifications give substantial word error rate reductions over the standard CNN used as baseline. Finally the very deep CNN is combined with an LSTM-RNN acoustic model and it is shown that state-level weighted log likelihood score combination in a joint acoustic model decoding scheme is very effective. On the Aurora 4 task, the very deep CNN achieves a WER of 8.81%, further 7.99% with auxiliary feature joint training, and 7.09% with LSTM-RNN joint decoding.

研究の動機と目的

• 騒音環境下や不一致条件下における音声認識システムのロバスト性を向上させること、特に標準的なDNNや浅いCNNが性能を発揮できない状況を想定する。
• コンピュータビジョン分野での成功にインspiredされた非常に深いCNNアーキテクチャが、自動音声認識に効果的に適応可能かどうかを調査すること。
• フィルターサイズ、プーリング戦略、パディング、入力特徴マップ選択といったアーキテクチャ設計選択が、騒音下での音声認識性能に与える影響を調査すること。
• 補助特徴（i-vector、fMLLR）を用いた連合学習戦略を構築・評価し、さらにロバスト性を向上させること。
• VDCNNとLSTM-RNNモデルを、状態レベルでの重み付き対数尤度スコア結合を用いた連合デコードにより統合することで、効果的な性能向上を実証すること。

提案手法

• フィルターサイズとプーリングサイズを小さくし、入力特徴マップの次元数を増やすことで、最大10層の畳み込み層を備えた非常に深いCNN（VDCNN）を設計する。
• 時間軸および周波数軸の両方で特徴マップにパディングを適用し、非常に深いネットワークにおける学習の安定化と性能向上を図る。
• 動的特徴を用いない静的特徴のみを入力として使用するが、これはノイズ耐性の観点から動的特徴よりも効果的であると判明した。
• モデルの話者およびチャネル変動への適応を図るため、VDCNNと補助特徴（i-vectorとfMLLR）を連合で学習する。
• VDCNNとLSTM-RNN音声モデルを、標準的なラティス結合手法よりも優れた状態レベルでの重み付き対数尤度スコア結合を用いた連合デコードにより統合し、性能を向上させる。
• 学習された重みを用いて状態レベルでVDCNNとLSTM-RNNの出力を結合する、革新的な連合デコードスキームを導入し、ロバスト性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 5層を超える非常に深いCNNは、標準的な浅いCNNと比較して、騒音下の音声認識タスクにおける語誤り率（WER）を顕著に改善できるか？
• RQ2 フィルターサイズ、プーリング戦略、入力特徴マップ構成といったアーキテクチャ選択が、音声認識における深層CNNの性能に与える影響は何か？
• RQ3 静的特徴のみを用いることで、深層CNNにおけるノイズ耐性の高い音声認識において、動的特徴を用いる場合よりも優れた性能が得られるか？
• RQ4 補助特徴（i-vectorとfMLLR）を用いた連合学習により、系列学習や前処理強化を要しないまま、非常に深いCNNにおけるWERをさらに低減できるか？
• RQ5 VDCNNとLSTM-RNNモデルを結合する際、標準的な最小ベイズリスク（MBR）ラティス結合と比較して、状態レベルでの重み付き対数尤度スコア結合はより効果的か？

主な発見

• 提案された非常に深いCNN（VDCNN）は、Aurora 4タスクで語誤り率（WER）8.81%を達成し、標準的な浅いCNNベースラインと比較して17.0%の相対的WER低減を実現した。
• 補助特徴（i-vectorとfMLLR）を用いた連合学習により、WERは7.99%に低下し、ベースラインと比較して25.0%の相対的WER低減を達成した。
• 最終的な連合デコードシステムとして、VDCNNとLSTM-RNNを状態レベルでの重み付き対数尤度スコア結合により統合した結果、WERは7.09%にまで低下し、論文発表当時、Aurora 4で報告された最良の結果となった。
• パディングなしの時間方向プーリングは効果がなく、時間軸および周波数軸の両方にパディングを適用することで、非常に深いCNNにおける性能が顕著に向上した。
• VDCNNへの入力として動的特徴を使用しない静的特徴のみを用いることで、より優れた性能が得られた。これは、深層アーキテクチャが静的入力から時間的ダイナミクスをより効果的に学習可能であることを示している。
• 提案された状態レベルでの重み付き対数尤度スコア結合は、標準的なKaldiのMBRラティス結合を上回り、VDCNNとLSTM-RNNモデルの相補的な強みを効果的に活用できる連合デコードスキームの優位性を示した。