[論文レビュー] Compressing LSTMs into CNNs.

Krzysztof J. Geras, Abdelrahman Mohamed+7 more|arXiv (Cornell University)|Nov 19, 2015

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文では、LSTM教師から導かれる知識を用いて、深層畳み込みニューラルネットワーク（CNN）にLSTMを圧縮する、新しいモデル圧縮技術「モデルブレンド」を提案する。この手法により、単独のLSTMやCNNよりも高い精度が達成され、効果的な知識蒸留に必要なのは最高確率ラベルの1%未塔である。

ABSTRACT

We consider whether deep convolutional networks (CNNs) can represent decision functions with similar accuracy as recurrent networks such as LSTMs. First, we show that a deep CNN with an architecture inspired by the models recently introduced in image recognition can yield better accuracy than previous convolutional and LSTM networks on the standard 309h Switchboard automatic speech recognition task. Then we show that even more accurate CNNs can be trained under the guidance of LSTMs using a variant of model compression, which we call model blending because the teacher and student models are similar in complexity but different in inductive bias. Blending further improves the accuracy of our CNN, yielding a computationally efficient model of accuracy higher than any of the other individual models. Examining the effect of dark knowledge in this model compression task, we find that less than 1% of the highest probability labels are needed for accurate model compression.

研究の動機と目的

• 深層CNNが自動音声認識などの系列モデルタスクにおいてLSTMの性能を模倣または上回ることを調査すること。
• LSTMからCNNへの知識転送を可能にするモデル圧縮技術を検討し、両者の相補的なインダクティブバイアスを活用すること。
• 特に教師モデルの上位予測確率からなる小さなラベル集合を用いた低ラベル環境下での知識蒸留の有効性を評価すること。

提案手法

• Switchboard 309h音声認識タスクにおける最先端の画像認識モデルをインspiredした深層CNNの訓練。
• モデルブレンドの導入——知識蒸留の変種で、CNN生徒がLSTM教師モデルのソフトラベルを用いて訓練される。
• ダークナレッジ蒸留を適用し、LSTM教師モデルの上位1%の最高確率ラベルのみを用いてCNNの訓練をガイドする。
• 計算効率を維持したまま、LSTMの意思決定関数を再現できるようにCNNを最適化する。
• 生徒の出力分布を教師のものと一致させる損失関数を用い、高信頼度予測に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 深層CNNはSwitchboard 309h自動音声認識タスクにおいて、LSTMを上回る精度を達成できるか？
• RQ2 LSTMの指導のもとで訓練されるCNN（モデルブレンド）は、個別モデルを上回る性能を発揮するか？
• RQ3 教師モデルの上位予測のわずかな部分集合のみを用いた場合、知識蒸留はどの程度有効か？
• RQ4 LSTMとCNNの間のインダクティブバイアスの違いは、モデル圧縮の性能にどのような影響を与えるか？

主な発見

• 提案されたCNNアーキテクチャは、Switchboard 309h ASRタスクにおいて、従来の畳み込みネットワークおよびLSTMネットワークを上回る性能を示した。
• LSTM教師を用いたモデルブレンドにより、個別モデルを上回るCNNの精度がさらに向上した。
• LSTM教師の上位1%の最高確率ラベルのみを用いることで、高精度なモデル圧縮が可能になった。
• 得られたCNNモデルは、計算効率を維持したまま最先端の精度を達成した。