[論文レビュー] Blending LSTMs into CNNs

Krzysztof J. Geras, Abdelrahman Mohamed+7 more|arXiv (Cornell University)|Nov 19, 2015

Speech Recognition and Synthesis参考文献 34被引用数 7

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（CNN）が長距離の時系列モデリングの長所を有するLSTM教師ネットワークを模倣するという、知識蒸留の新しい応用である「モデルブレンド」を提案する。LSTMの長所を活かしつつ、CNNの計算効率を維持する。本手法は、Switchboardで最先端のWER（14.1％）を達成し、ソフトラベルとハードラベルをブレンドすることで、個々のモデルやアンサンブルを上回る性能を発揮する。これは、教師出力の上位0.3％の確率を持つ出力のみを用いても達成可能である。

ABSTRACT

We consider whether deep convolutional networks (CNNs) can represent decision functions with similar accuracy as recurrent networks such as LSTMs. First, we show that a deep CNN with an architecture inspired by the models recently introduced in image recognition can yield better accuracy than previous convolutional and LSTM networks on the standard 309h Switchboard automatic speech recognition task. Then we show that even more accurate CNNs can be trained under the guidance of LSTMs using a variant of model compression, which we call model blending because the teacher and student models are similar in complexity but different in inductive bias. Blending further improves the accuracy of our CNN, yielding a computationally efficient model of accuracy higher than any of the other individual models. Examining the effect of "dark knowledge" in this model compression task, we find that less than 1% of the highest probability labels are needed for accurate model compression.

研究の動機と目的

• 深層CNNが自動音声認識においてLSTMの性能を模倣または上回ることができるかどうかを調査すること。
• 教師モデルと生徒モデルの複雑さが類似しているが、誘導的バイアスが異なるという、未だ十分に検討されていないモデル圧縮の領域を探索すること。
• LSTMからの知識を新たなブレンド技術を用いて活用することで、CNNの音声認識性能を向上させること。
• モデル圧縮における「ダークナレッジ」の有効性を、ラベルが少ない状況（低ショットラベル設定）で評価すること。

提案手法

• Switchboardデータセット上で、ビジョン由来の深層CNNアーキテクチャを訓練し、従来のCNNおよびLSTMモデルよりも優れた精度を達成した。
• 「モデルブレンド」と呼ばれる、知識蒸留の変種が用いられた。この手法では、CNN生徒がLSTM教師が生成するソフトラベル（ログティスまたは確率）から学習する。
• 訓練目的関数は、ハードラベルにおける交差エントロピー損失と、教師と生徒の予測の間の交差エントロピーを最小化する蒸留損失の両方を組み合わせたものである。
• ハードラベルとソフトラベルの寄与度を調整するハイパーパrameter λ が使用された。
• 教師から保持する上位クラス予測の数（C）を変化させ、有効な蒸留に必要な最小限の情報量を評価した。
• 自己学習のバリエーションが検討され、同じアーキテクチャのCNNが他のCNNを教えることで、本手法の一般化可能性が示された。

実験結果

リサーチクエスチョン

• RQ1 ビジョン由来のアーキテクチャを持つ深層CNNは、Switchboard音声認識タスクにおいてLSTMを上回ることができるか？
• RQ2 生徒モデルが著しく小さい場合ではなく、教師と生徒の両方が同程度のサイズ・複雑さである場合に、モデル圧縮は有効か？
• RQ3 教師の出力（すなわち、ソフトラベル）のどの程度が、効果的な知識移転に必要か？
• RQ4 異なる誘導的バイアスが存在しないにもかかわらず、同じアーキテクチャのCNNが他のCNNから学習することで、性能向上が達成可能か？

主な発見

• 提案されたCNNモデルは、Switchboardデータセットで14.1％の語誤り率（WER）を達成し、個々のLSTMおよびCNNを上回った。
• LSTM教師を用いたモデルブレンドにより、WERが14.1％に低下し、アンサンブルを含むあらゆる個々のモデルを下回った。
• 教師の上位0.3％の確率を持つ出力（約300に1つ）のみを用いても、近似的に最適な性能が達成された。
• あまりにも少ない数のラベルを用いた場合、性能が著しく低下した。これは、「ダークナレッジ」が効果的な蒸留に不可欠であることを示している。
• 同じアーキテクチャのCNNが他のCNNを模倣する自己学習（self-teaching）により、34.61％のFERと14.1％のWERを達成した。これは、ブレンド手法が同じアーキテクチャ内でもモデル性能を向上させることを示している。
• ブレンドされたCNNモデルは、同等のCNNとLSTMのアンサンブルと比較して、推論時に6.8倍の計算効率が向上した。