[論文レビュー] Incremental Training of Deep Convolutional Neural Networks

Roxana Istrate, A. Cristiano I. Malossi+2 more|arXiv (Cornell University)|Mar 27, 2018

Neural Networks and Applications被引用数 15

ひとこと要約

本稿では、事前学習済みネットワークをサブネットワークに分割し、収束を向上させるための新しい「リードスルー」初期化を用いた、深層畳み込みニューラルネットワーク（CNN）の段階的訓練手法を提案する。この手法は、標準的な訓練と同等またはそれ以上の精度を達成しながら、パラメータ数とFLOPsを削減し、性能を損なわずに効率性を高めるために早期停止を可能にする。

ABSTRACT

We propose an incremental training method that partitions the original network into sub-networks, which are then gradually incorporated in the running network during the training process. To allow for a smooth dynamic growth of the network, we introduce a look-ahead initialization that outperforms the random initialization. We demonstrate that our incremental approach reaches the reference network baseline accuracy. Additionally, it allows to identify smaller partitions of the original state-of-the-art network, that deliver the same final accuracy, by using only a fraction of the global number of parameters. This allows for a potential speedup of the training time of several factors. We report training results on CIFAR-10 for ResNet and VGGNet.

研究の動機と目的

• 特に与えられたデータセットに対してネットワークアーキテクチャが最適でない場合に、深層CNNを再び訓練する際の非効率性に対処すること。
• 必要に応じて動的にネットワークを拡大する仕組みを導入することで、訓練時間と計算コストを削減すること。
• 各サブネットワーク拡張の性能向上を定量化することで、精度と複雑さのトレードオフに基づいた早期停止を可能にすること。
• 浅いネットワークからの知識を保持しつつ、段階的に深さを追加する方法を提供し、再訓練を回避すること。

提案手法

• 元のCNNをK個のサブネットワークに分割し、各サブネットワークには少なくとも1つのトレーニング可能な層を含める。分類器ヘッドは分割の対象としない。
• サブネットワークは逐次的に訓練される：初期の浅いネットワークの訓練後、新しいサブネットワークは「リードスルー」手法を用いて初期化され、知識が転送される。
• リードスルー初期化は、将来のレイヤーからの統計的特徴を用いて現在のサブネットワークの初期化を制御し、ランダム初期化よりも収束を向上させる。
• 訓練は段階を経て行われ、各サブネットワークが収束するまで訓練された後、次のサブネットワークが追加される。これにより、ネットワークの滑らかな動的成長が実現される。
• 各サブネットワークの限界的精度向上をモニタリング可能であり、ユーザーが定めたトレードオフに基づいた早期停止が可能になる。
• ハイパーパrameterは最小限に抑えられる（例：固定学習率、RMSProp最適化手法）、実験全体にわたって一貫したデータ拡張が適用される。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-10で、リードスルー初期化を用いた段階的訓練は、スクラッチからの標準的訓練と同等またはそれ以上の精度を達成できるか？
• RQ2 収束速度と最終的な精度の観点から、リードスルー初期化はランダム初期化よりも優れているか？
• RQ3 段階的訓練によって、ベースライン精度を維持したままどの程度ネットワークをプルーニングできるか？
• RQ4 段階的訓練により、精度にほとんど寄与しないサブネットワークを特定し、早期停止と計算リソースの節約を可能にできるか？
• RQ5 性能を損なわずに、総FLOPsとパラメータ数を削減できるか？

主な発見

• リードスルー初期化は、特にResNet-56においてランダム初期化を上回る検証精度を達成し、ResNet-56ではランダム初期化よりも1.04%の向上を示した。
• VGGNetでは、段階的訓練により1500万パラメータでベースライン精度（90.06%のテスト誤差）に到達し、全3500万パラメータのモデルと比較して57%のパラメータ削減を達成した。
• 段階的訓練では、90%の精度に到達するまでに0.8 PFLOPsの計算量で済み、全VGGNetの1.4 PFLOPsと比較して43%のFLOPs削減を達成した。
• VGGNetのパラメータの5%（175万）で85%の精度に到達でき、全モデルの90.06%テスト誤差に一致するには42%（1470万）のパラメータで十分だった。
• 段階的訓練により早期停止が可能となった：VGGNetの最後の2つのサブネットワークは1%未満の精度向上しか寄与しなかったが、推論コストを16%増加させ、パラメータを80%増加させた。
• 初期の訓練段階では、より大きなバッチサイズと高い学習率のおかげで、収束が速く、訓練プロセス全体が加速した。