[論文レビュー] Densely Connected Convolutional Networks for Speech Recognition

Chia Yu Li, Ngoc Thang Vu|arXiv (Cornell University)|Aug 10, 2018

Speech Recognition and Synthesis参考文献 14被引用数 6

ひとこと要約

この論文は、密接な接続と特徴の再利用を活用してコンactで深いネットワークを構築するDenseNetを、自動音声認識（ASR）における音声モデリングに導入する。Wall Street JournalおよびResource Managementデータセットにおいて、SOTAの性能を達成しており、DNN、CNN、VGGを上回っている。訓練データを半分に減らしても同様の性能を発揮し、ボトルネック構造および圧縮部を用いることで、データ効率および学習効率に優れた性能を示している。

ABSTRACT

This paper presents our latest investigation on Densely Connected Convolutional Networks (DenseNets) for acoustic modelling (AM) in automatic speech recognition. DenseN-ets are very deep, compact convolutional neural networks, which have demonstrated incredible improvements over the state-of-the-art results on several data sets in computer vision. Our experimental results show that DenseNet can be used for AM significantly outperforming other neural-based models such as DNNs, CNNs, VGGs. Furthermore, results on Wall Street Journal revealed that with only a half of the training data DenseNet was able to outperform other models trained with the full data set by a large margin.

研究の動機と目的

• 自動音声認識（ASR）における音声モデリングに、密接に接続された畳み込みネットワーク（DenseNets）の有効性を調査すること。
• DenseNetsが限られた訓練データと低い計算コストで高い性能を達成できるかどうかを評価すること。
• 深さ、ボトルネック層、圧縮といったアーキテクチャ的要素がASR性能および学習効率に与える影響を分析すること。
• 標準的なASRベンチマーク（WSJおよびRM）において、DenseNetとDNN、CNN、VGGといった標準モデルの性能を比較すること。

提案手法

• DenseNetは、各層がその後続のすべての層に直接スキップ接続を持つ。各層の入力は、すべての先行する特徴マップの連結である。
• 各層の複合関数は、バッチ正規化、ReLU活性化関数、および3×3畳み込み層から構成される。
• Denseブロックは、密接な接続を持つ層のグループであり、特徴マップの次元を低下させ、チャネル数を圧縮するために、1×1畳み込みと2×2平均プーリングを用いた遷移層が使用される。
• パラメータ数の削減と学習の高速化を図るために、ボトルネック構造（3×3畳み込みの前に1×1畳み込みを配置）と圧縮（ハイパーパramータ θ を用いて）が導入される。
• モデルは、適応されていない40次元のログメルフィルタバンク特徴量を用い、dev’93セットのWER最適化を目的として学習される。
• 深さ、Denseブロック数、圧縮率（θ）といったハイパーパramータは、性能と学習時間の最適化を目的として体系的に調整される。

実験結果

リサーチクエスチョン

• RQ1 標準モデルと比較して、大幅に少ない訓練データでDenseNetがASRでSOTAの性能を達成できるか？
• RQ2 深さ、ボトルネック層、圧縮といったアーキテクチャ的要素が、学習速度と認識精度に与える影響は何か？
• RQ3 DenseNetのコンactな構造が、音声モデリングにおける優れたデータ効率を実現できるか？
• RQ4 WSJおよびRMデータセットにおいて、DenseNetはDNN、CNN、VGGと比較して、WERおよび学習時間の点でどのように異なるか？

主な発見

• 深さ61、圧縮率θ=0.4のDenseNet-Cは、3時間分のRMデータセットで1.91の最良WERを達成し、他のDenseNetバージョンおよび標準モデルを上回った。
• Wall Street Journalデータセットでは、DenseNet-Cは全78時間のデータセットの半分に当たる36時間のデータで学習したが、dev’93でのWERは7.52にとどまり、全データで学習したモデルが達成する最適な7.12に近く、優れた性能を示した。
• 4つのDenseブロックと深さ61を持つDenseNet-Cは、RMデータセットで2.10のWERを達成し、3つのDenseブロックと比較して、より高い圧縮率と少ないパラメータ数のおかげで、顕著に短い学習時間で実現された。
• 深さ61とθ=0.4のモデルは、RMおよびWSJデータセットの両方で最良の性能を発揮し、深さと圧縮が最適な結果を得る上で極めて重要であることが示された。
• DenseNet-Cは、DNN、CNN、VGGを上回り、特にWSJデータセットの全データで学習したモデルに対しても、大きな差をつけて優位な性能を示した。
• Denseブロック数を3から4に増加させたことで、パラメータ数が減少し、圧縮がより頻繁に行われるようになり、学習時間は25％（12 vs 16エポック）短縮された。