[論文レビュー] Go Wide, Then Narrow: Efficient Training of Deep Thin Networks

Denny Zhou, Mao Ye+7 more|arXiv (Cornell University)|Jul 1, 2020

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本論文は、理論的保証を伴う効率的な深く細いニューラルネットワークの訓練のための三段階訓練手法—拡張、蒸留、微調整—を提案する。まず広いネットワークを訓練し、その中間活性化を次に、次元を保った線形射影を用いた段階的蒸留によって、狭いネットワークを初期化することで、優れた性能を達成する：ResNet50はResNet101を上回り、BERT_BASEはBERT_LARGEと同等の性能を示す。この手法は大規模な事前学習や圧縮の必要がない。

ABSTRACT

For deploying a deep learning model into production, it needs to be both accurate and compact to meet the latency and memory constraints. This usually results in a network that is deep (to ensure performance) and yet thin (to improve computational efficiency). In this paper, we propose an efficient method to train a deep thin network with a theoretic guarantee. Our method is motivated by model compression. It consists of three stages. First, we sufficiently widen the deep thin network and train it until convergence. Then, we use this well-trained deep wide network to warm up (or initialize) the original deep thin network. This is achieved by layerwise imitation, that is, forcing the thin network to mimic the intermediate outputs of the wide network from layer to layer. Finally, we further fine tune this already well-initialized deep thin network. The theoretical guarantee is established by using the neural mean field analysis. It demonstrates the advantage of our layerwise imitation approach over backpropagation. We also conduct large-scale empirical experiments to validate the proposed method. By training with our method, ResNet50 can outperform ResNet101, and BERT Base can be comparable with BERT Large, when ResNet101 and BERT Large are trained under the standard training procedures as in the literature.

研究の動機と目的

• リソース制限のあるデバイスへのデプロイに適した、コンパクトで深く細いニューラルネットワークを効率的に訓練する課題に対処すること。
• 非凸性と勾配消失のため、訓練の初期化が困難である深く細いネットワークを、初期化から直接訓練する困難を克服すること。
• 大規模なモデルを最初に訓練してから構造を圧縮するという非効率な手法の代替として、理論的根拠に基づいたモデル圧縮の代替を提供すること。
• 平均場解析を用いて、深く細いネットワークの訓練プロセスが、標準的な訓練とは異なり指数関数的増加を示さない、より効率的であることを理論的に確立すること。

提案手法

• まず、目的の深く細いネットワークを広いネットワークに拡張し、収束するまで訓練する。
• 第二段階では、広いネットワークの中間層出力を模倣するように、次元を保った線形変換を用いた段階的蒸留プロセスにより、狭いネットワークを初期化する。
• 線形変換には、広いネットワークの出力次元に一致させるための拡張層と、元の狭いネットワークの次元に戻すための縮小層が含まれる。
• 蒸留が終了した後、狭いネットワーク内の線形層を統合し、元のアーキテクチャを回復させつつ、改善された初期化を保持する。
• 最終段階では、良好に初期化された狭いネットワークを標準的な微調整により最適化し、最良の性能を達成する。
• 理論的分析では、平均場理論を用いて、提案手法のもとでは訓練誤差の境界が深さに対して線形に増加するのに対し、標準的な訓練から始める場合とは異なり、指数関数的に増加することを示している。

実験結果

リサーチクエスチョン

• RQ1 広いバージョンを事前に訓練し、それを用いて狭いネットワークを初期化することで、深く細いネットワークの訓練をより効率的に行えるか？
• RQ2 次元を保った射影を用いた段階的蒸留は、ランダムまたはヒューリスティックな初期化と比較して、より優れた最適化と一般化をもたらすか？
• RQ3 提案手法は、大規模な事前学習や圧縮を必要とせずに、より大きなモデルと同等の性能を達成できるか？
• RQ4 標準的な深く細いネットワークの訓練では見られる指数関数的誤差増加を回避する理由について、理論的根拠はあるか？

主な発見

• ImageNetで、提案手法を用いて訓練したResNet50は、標準的なバックプロパゲーションで訓練したResNet101を上回る性能を示した。
• 提案手法を用いて訓練したBERT_BASEは、はるかに多くのパラメータと計算量を要するBERT_LARGEと同等の性能を達成した。
• 平均場解析により、訓練誤差の境界がネットワークの深さに対して指数関数的から線形に増加するよう変化することが証明された。
• 次元が異なる層間でも、次元を保った線形射影を用いた段階的蒸留により、広いネットワークから細いネットワークへの有効な知識伝達が可能である。
• 実騴的結果では、画像分類および自然言語処理タスクを含む複数のベンチマークで一貫した性能向上が確認された。