[論文レビュー] Distilling Model Knowledge

George Papamakarios|arXiv (Cornell University)|Oct 8, 2015

Time Series Analysis and Forecasting参考文献 9被引用数 9

ひとこと要約

本学位論文は、出力と導関数の一致を用いて、複雑なモデルを模倣するようにコンパクトなモデルを訓練する一般化された知識蒸留フレームワークを提案する。モデル圧縮、ベイジアン予測分布の蒸留、非可解な生成モデルの蒸留において、導関数一致やオンライン蒸留といった新規技術を用いて、最先端の結果を達成している。

ABSTRACT

Top-performing machine learning systems, such as deep neural networks, large ensembles and complex probabilistic graphical models, can be expensive to store, slow to evaluate and hard to integrate into larger systems. Ideally, we would like to replace such cumbersome models with simpler models that perform equally well. In this thesis, we study knowledge distillation, the idea of extracting the knowledge contained in a complex model and injecting it into a more convenient model. We present a general framework for knowledge distillation, whereby a convenient model of our choosing learns how to mimic a complex model, by observing the latter's behaviour and being penalized whenever it fails to reproduce it. We develop our framework within the context of three distinct machine learning applications: (a) model compression, where we compress large discriminative models, such as ensembles of neural networks, into models of much smaller size; (b) compact predictive distributions for Bayesian inference, where we distil large bags of MCMC samples into compact predictive distributions in closed form; (c) intractable generative models, where we distil unnormalizable models such as RBMs into tractable models such as NADEs. We contribute to the state of the art with novel techniques and ideas. In model compression, we describe and implement derivative matching, which allows for better distillation when data is scarce. In compact predictive distributions, we introduce online distillation, which allows for significant savings in memory. Finally, in intractable generative models, we show how to use distilled models to robustly estimate intractable quantities of the original model, such as its intractable partition function.

研究の動機と目的

• 大規模で複雑な機械学習モデルの実装における実用的課題（評価が遅く、保存に高コストであること）に対処する。
• 単純なモデルが複雑なモデルの挙動を再現できる統一された知識蒸留フレームワークを構築する。
• モデル圧縮、コンパクトなベイジアン予測分布、非可解な生成モデルの蒸留という3つの主要な応用分野におけるモデル効率を向上させる。
• 新規の蒸留技術を用いて、データ不足下でも高い性能を発揮し、メモリ使用量を削減する。
• R{backprop}を用いて、非可解な量（例：正規化定数）の堅牢な推定を、蒸留モデルを用いて行う。

提案手法

• 出力値と導関数値の逸脱をペナルティとする損失関数を最小化することで、複雑な教師モデルを模倣するようにコンパクトな学生モデルを訓練する。
• 訓練データが限られた状況での一般化を向上させるために、モデル圧縮における導関数一致を用いる。
• ベイジアン推論におけるオンライン蒸留を実装し、十分統計量の累積平均を維持することでメモリ使用量を削減する。
• 確率的勾配訓練を用いて、KLダイバージェンスの最小化により、非正規化可能なモデル（例：RBM）を、取り扱い可能なモデル（例：NADE）に蒸留する。
• 学生モデルおよび教師モデルの両方で、効率的な2階微分計算のためのR{backprop}を活用する。
• 混合モデルの蒸留中にバッチおよびオンラインEMアルゴリズムを用い、収束を促すために適応的学習率スケジュールを導入する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留を、多様な機械学習応用に適用可能な統一されたフレームワークとして一般化できるか？
• RQ2 データが不足する状況で、導関数一致が蒸留性能にどのように寄与するか？
• RQ3 オンライン蒸留は、ベイジアン予測分布学習におけるメモリ使用量を顕著に削減できるか？
• RQ4 蒸留モデルは、RBMのような複雑なモデルの非可解な量（例：正規化定数）を堅牢に推定できるか？
• RQ5 モデル圧縮、ベイジアン推論、非可解な生成モデル化という3分野における蒸留の相対的性能向上はどの程度か？

主な発見

• 導関数一致は、特にデータが不足する状況で、関数値と勾配の両方の一致を図ることで、モデル圧縮における蒸留性能を顕著に向上させる。
• オンライン蒸留は、完全なデータバッチを保存するのではなく、十分統計量の累積平均を維持することで、メモリ消費量を削減する。
• 蒸留されたNADEモデルは、元のRBMの非可解な正規化定数を高い精度で推定できた。
• 本フレームワークにより、大規模なニューラルネットワークアンサンブルを、同等の予測性能を持つコンパクトな単一モデルに効果的に蒸留できる。
• 適応的学習率を用いた確率的勾配訓練により、オンライン蒸留における安定的かつ収束性のある最適化が保証された。
• 提案された蒸留フレームワークは、モデル圧縮、ベイジアン推論、非可解な生成モデル化という3分野すべてで、最先端の結果を達成した。