[論文レビュー] Born Again Neural Networks

Tommaso Furlanello, Zachary C. Lipton+3 more|arXiv (Cornell University)|May 12, 2018

Adversarial Robustness in Machine Learning参考文献 46被引用数 443

ひとこと要約

Born-Again Networks (BANs) は、教師から同一アーキテクチャの学生モデルを訓練し、教師を一貫して上回り、CIFAR-10/100 で強力な結果を達成し、LSTMs を用いた言語モデリングにも拡張する。

ABSTRACT

Knowledge Distillation (KD) consists of transferring “knowledge” from one machine learning model (the teacher) to another (the student). Commonly, the teacher is a high-capacity model with formidable performance, while the student is more compact. By transferring knowledge, one hopes to benefit from the student’s compactness, without sacrificing too much performance. We study KD from a new perspective: rather than compressing models, we train students parameterized identically to their teachers. Surprisingly, these Born-Again Networks (BANs), outperform their teachers significantly, both on computer vision and language modeling tasks. Our experiments with BANs based on DenseNets demonstrate state-of-the-art performance on the CIFAR-10 (3.5%) and CIFAR-100 (15.5%) datasets, by validation error. Additional experiments explore two distillation objectives: (i) Confidence-Weighted by Teacher Max (CWTM) and (ii) Dark Knowledge with Permuted Predictions (DKPP). Both methods elucidate the essential components of KD, demonstrating the effect of the teacher outputs on both predicted and non-predicted classes.

研究の動機と目的

• モチベーション：モデル圧縮を超えた知識蒸留の見直しを、同一アーキテクチャの学生モデルが教師を超える可能性を持つように訓練することで促す。
• 視覚および言語タスクで BANs をさまざまなアーキテクチャ（DenseNets, ResNets, LSTMs）で示す。
• KD におけるダークナレッジと地上真実信号の役割を分析する。
• BANs の深さ/幅の変化およびアーキテクチャ間転移の安定性を探る（DenseNet 教師から ResNet 学生への転移、そしてその逆も）。

提案手法

• 通常通りラベル付きデータで教師ネットワークを訓練する。
• 新しい学生ネットワークを異なる乱数シードで初期化し、標準のラベル損失と教師の出力分布に一致させる KD 項を組み合わせた損失を用いて訓練する（学生出力と教師出力間のクロスエントロピー）。
• BANs を複数の世代（教え子の連続）として繰り返し、BANs を形成し、任意で複数世代をアンサンブルする（BANE）。
• 2 つの KD 特有の処理を調査する：Confidence-Weighted by Teacher Max (CWTM) と Dark Knowledge with Permuted Predictions (DKPP) が非 argmax ロジットの役割を分離するため。
• KD 勾配の分解をダークノウレッジタームと地上信号タームに分解し、教師の信頼度による重要度重みづけとして再解釈する。
• BANs を DenseNets, ResNets, Wide-ResNets, LSTMs に CIFAR-10/100 および Penn Tree Bank (PTB) で適用し、アーキテクチャ横断とドメイン横断の有効性を評価する。
• 完全な KD で訓練した BANs と変種（CWTM, DKPP）を比較し、ダークノウリッジの寄与を理解する。

Figure 1: Graphical representation of the BAN training procedure : during the first step the teacher model T is trained from the labels $Y$ . Then, at each consecutive step, a new identical model is initialized from a different random seed and trained from the supervision of the earlier generation.

実験結果

リサーチクエスチョン

• RQ1 同一アーキテクチャの学生ネットワークが BAN 風の再訓練後に教師を上回ることができるか？
• RQ2 ダークノウィージ信号（およびその変種 CWTM/DKPP）が KD の有効性にどのように影響するか？
• RQ3 BAN はアーキテクチャ（DenseNet, ResNet）とドメイン（視覚、言語）を横断して一貫して改善するか？
• RQ4 深さ/幅の変化と横断アーキテクチャ転送（DenseNet 教師から ResNet 学生、そしてその逆）で BAN の性能はどうスケールするか？

主な発見

ネットワーク	教師	BAN
DenseNet-112-33	18.25	16.95
DenseNet-90-60	17.69	16.69
DenseNet-80-80	17.16	16.36
DenseNet-80-120	16.87	16.00

• 同一アーキテクチャで訓練された BAN は CIFAR-10/100 および PTB で教師を一貫して上回る（さまざまなアーキテクチャで）。
• CIFAR-100 では BAN-DenseNet-90-60 が 16.69% のエラー（教師は 17.69%）、さらに BAN アンサンブルはシェイクシェイク正規化なしで最先端の非アンサンブル結果を達成。
• 2 つの KD 処理（CWTM と DKPP）は非 argmax ロジットが一般化に寄与することを示し、DKPP（並べ替えられた非 argmax ロジット）も改善をもたらす。
• BAN は知識をアーキテクチャ系に跨って転移でき（例えば DenseNet 教師から ResNet 学生へ、またその逆）、時には教師とベースラインアーキテクチャの両方を上回ることも。
• 教え子の連 sequence は数世代後に利得が減少するが、2-3世代で substantial gains を得られ、BAN のアンサンブルは個々の最高を上回ることができる。
• PTB 言語モデリングでは、BAN は LSTM および CNN-LSTM 教師の perplexity を大幅に低減する（教師 supervision + KD（BAN+L）で）。