[論文レビュー] Net2Net: Accelerating Learning via Knowledge Transfer

Tianqi Chen, Ian Goodfellow+1 more|arXiv (Cornell University)|Nov 18, 2015

Adversarial Robustness in Machine Learning参考文献 13被引用数 164

ひとこと要約

Net2Netは、関数を保存する重み初期化を用いて、より小さい事前学習済みニューラルネットワークからより大きなネットワーク（広い・深いネットワーク）への知識の転送により、深層学習モデルの学習を高速化する。この手法により、再訓練なしでImageNetで78.5％のトップ1精度という、新たなSOTAを達成し、収束が速くなる。

ABSTRACT

We introduce techniques for rapidly transferring the information stored in one neural net into another neural net. The main purpose is to accelerate the training of a significantly larger neural net. During real-world workflows, one often trains very many different neural networks during the experimentation and design process. This is a wasteful process in which each new model is trained from scratch. Our Net2Net technique accelerates the experimentation process by instantaneously transferring the knowledge from a previous network to each new deeper or wider network. Our techniques are based on the concept of function-preserving transformations between neural network specifications. This differs from previous approaches to pre-training that altered the function represented by a neural net when adding layers to it. Using our knowledge transfer mechanism to add depth to Inception modules, we demonstrate a new state of the art accuracy rating on the ImageNet dataset.

研究の動機と目的

• 以前に訓練されたモデルからの知識を再利用することで、深層ニューラルネットワークの反復的設計を高速化すること。
• 複数のモデルアーキテクチャを段階的に探索する実世界のワークフローにおいて、学習時間を短縮すること。
• ランダム初期化からの学習なしに、広い・深いモデルアーキテクチャの効率的探索を可能にすること。
• 学習データの増加に伴いモデル容量をスムーズに拡張できるようにすることで、生涯学習システムを支援すること。
• ネットワークの幅や深さを拡大する際、性能の低下なしに知識転送が達成できることを示すこと。

提案手法

• Net2WiderNetは、教師ネットワークの各ニューロンをスケーリングされた重みを持つ複数のニューロンに分割することで、広いネットワークを初期化する。これにより、同じ関数が保持される。
• Net2DeeperNetは、各Inceptionモジュールに、恒等性を保つ残差ブロック（縦方向・横方向の畳み込みペア）を挿入することで、より深いネットワークを初期化する。
• 初期化により、学生ネットワークが微調整なしに教師ネットワークと同じ出力を計算するよう保証される。
• 関数を保存する変換を適用することで、アーキテクチャの変更中にも同じ入力-出力マッピングが維持される。
• 初期化された学生ネットワークは、標準的な最適化手法で学習され、事前に学習された関数の恩恵を受ける。
• 従来の知識転送手法とは異なり、追加の distillation ヘッド や補助損失項の必要がない。

実験結果

リサーチクエスチョン

• RQ1 より小さい事前学習済みニューラルネットワークからの知識を、より大きなネットワーク（広い・深いネットワーク）に、性能の低下なしに転送できるか？
• RQ2 関数を保存する重み初期化は、ランダム初期化と比較して、より大きなモデルの学習時間を顕著に短縮できるか？
• RQ3 Net2Netは、深層学習ワークフローにおけるモデルアーキテクチャ空間の探索をより高速に可能にするか？
• RQ4 Net2Netを用いることで、ImageNetのような大規模ベンチマークで、精度を維持または向上させながらモデルを拡大可能か？
• RQ5 Net2Netによる性能向上は、初期化の質の向上によるものか、それともアーキテクチャ変換に伴う追加のインダクティブバイアスによるものか？

主な発見

• Net2WiderNetは、ランダム初期化された広いネットワークと同等の最終的な精度を達成した。これにより、知識転送による性能の低下がないことが確認された。
• Net2DeeperNetは、より深いモデルにおいて、ランダム初期化と比較して、学習および検証精度の収束が速くなった。
• Net2Netを用いて幅と深さの両方をスケーリングすることで、ImageNetバリデーションセットで78.5％という、新たなSOTAのトップ1精度を達成した。
• Net2Net初期化されたモデルの収束曲線は、ランダム初期化されたモデルと比較して、より大きなアーキテクチャであっても一貫して速かった。
• この手法により、新しいモデルバージョンの学習に要する時間が短縮され、モデル設計ワークフローにおける迅速な反復が可能になった。
• 複雑なInceptionモジュールに対してもこの手法が有効であったため、実世界の深層学習システムにおけるスケーラビリティが実証された。