[論文レビュー] Knowledge Transfer Pre-training

Zhiyuan Tang, Dong Wang+2 more|arXiv (Cornell University)|Jun 7, 2015

Topic Modeling参考文献 21被引用数 14

ひとこと要約

本論文では、より単純な教師モデルが、ソフトラベルを介して複雑な学生モデル（例：RNN）の訓練をガイドする知識移譲事前学習という手法を提案する。この手法により、階層的構造を必要としないモデルの有効な事前学習が可能となり、階層的アーキテクチャを必要としない。このアプローチは、従来の段階的事前学習と同等またはそれ以上の性能を達成し、特にRBM事前学習と組み合わせた場合に顕著である。また、弱い教師モデルに対しても有効である。

ABSTRACT

Pre-training is crucial for learning deep neural networks. Most of existing pre-training methods train simple models (e.g., restricted Boltzmann machines) and then stack them layer by layer to form the deep structure. This layer-wise pre-training has found strong theoretical foundation and broad empirical support. However, it is not easy to employ such method to pre-train models without a clear multi-layer structure,e.g., recurrent neural networks (RNNs). This paper presents a new pre-training approach based on knowledge transfer learning. In contrast to the layer-wise approach which trains model components incrementally, the new approach trains the entire model as a whole but with an easier objective function. This is achieved by utilizing soft targets produced by a prior trained model (teacher model). Compared to the conventional layer-wise methods, this new method does not care about the model structure, so can be used to pre-train very complex models. Experiments on a speech recognition task demonstrated that with this approach, complex RNNs can be well trained with a weaker deep neural network (DNN) model. Furthermore, the new method can be combined with conventional layer-wise pre-training to deliver additional gains.

研究の動機と目的

• 階層的構造が明確でないモデル（例：RNN）に適用できない層別事前学習の制限を克服すること。
• モデルアーキテクチャに制約を受けない汎用的な事前学習手法を開発し、複雑な深層ネットワークの有効な初期化を可能にすること。
• 弱い教師モデル（例：1層DNN）が、知識蒸留を用いてより複雑な学生モデルの事前学習を効果的にガイドできるかどうかを検証すること。
• 知識移譲事前学習の性能を、音声認識タスクにおけるRBMや段階的判別的事前学習といった既存手法と比較して評価すること。
• 知識移譲事前学習と従来の教師なし事前学習（例：RBM）の相乗効果を活用し、さらなる性能向上が可能かどうかを検討すること。

提案手法

• 事前に訓練済みの単純な教師モデル（例：浅いDNN）が、訓練データのソフトラベル（ログティス）を生成する。
• これらのソフトラベルを、より深く複雑な学生モデル（例：RNNや深層DNN）を教師ありの方法で事前学習するための監視信号として用いる。
• 学生モデルは、教師の出力分布に一致するように学習し、知識移譲を促進する損失関数（蒸留損失）を用いる。
• 事前学習後、学生モデルの分類層を再初期化して、効果的なファインチューニングを可能にする。
• エンドツーエンドの、全体的なネットワーク学習戦略であるため、再帰的またはスキップ接続を含むあらゆるモデルアーキテクチャに適用可能である。
• RBMに基づく教師なし事前学習などの他の事前学習手法と組み合わせることで、さらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 知識移譲事前学習は、明確な段階的構造を持たない複雑なニューラルネットワーク（例：RNN）を効果的に初期化できるか？
• RQ2 弱い教師モデル（例：1層DNN）ですら、より深い学生モデルの事前学習を意味的に効果的にガイドできるか？
• RQ3 知識移譲事前学習は、RBM や判別的段階的事前学習といった既存手法と比較して、性能に優れているか？
• RQ4 知識移譲事前学習は、他の事前学習手法と組み合わせることで、さらなる性能向上が得られるか？
• RQ5 知識移譲アプローチは、特に系列モデリングにおいて、さまざまなモデルアーキテクチャやタスクに一般化可能か？

主な発見

• 4層の隠れ層を持つDNNを教師モデルとして用いた音声認識（ASR）タスクにおいて、知識移譲事前学習は11.43%の語誤り率（WER）を達成し、RBMベースの手法（11.42% WER）と同等の性能を示した。
• 弱い1層DNNを教師モデルとして用いても、11.65%のWERを達成した。これは、教師モデルが高精度でなくても、効果的に機能することを示している。
• この実験では段階的判別的事前学習法はほとんど改善を示さなかったため、特定の設定下では知識移譲法の方が有効である可能性がある。
• RBM事前学習と知識移譲事前学習を組み合わせた場合、最良の性能（11.13% WER）を達成し、両者の相乗効果を確認した。
• 単純なDNNを教師として用いて、RNNモデルの事前学習に成功した。これは、再帰的アーキテクチャに対して従来の段階的事前学習の制限を克服したことを示している。
• 結果から、知識移譲事前学習は、アーキテクチャに依存しない強力な手法であり、複雑なモデルの初期化に効果的に利用可能であることが確認された。