[論文レビュー] AutoGrow: Automatic Layer Growing in Deep Convolutional Networks

Wei Wen, Feng Yan+2 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Neural Network Applications参考文献 43被引用数 7

ひとこと要約

AutoGrowは、頑健な成長および停止ポリシーを用いて、浅い初期アーキテクチャから段階的に層を追加することで、深層畳み込みネットワークにおける深さの自動発見を実現する。MNIST、CIFAR、ImageNetにおいて、最小限の人的作業でほぼ最適な精度-計算量トレードオフを達成し、人為的に設計されたResNetを上回り、1つのDNNを学習するのと同等の時間で学習が完了する。

ABSTRACT

Depth is a key component of Deep Neural Networks (DNNs), however, designing depth is heuristic and requires many human efforts. We propose AutoGrow to automate depth discovery in DNNs: starting from a shallow seed architecture, AutoGrow grows new layers if the growth improves the accuracy; otherwise, stops growing and thus discovers the depth. We propose robust growing and stopping policies to generalize to different network architectures and datasets. Our experiments show that by applying the same policy to different network architectures, AutoGrow can always discover near-optimal depth on various datasets of MNIST, FashionMNIST, SVHN, CIFAR10, CIFAR100 and ImageNet. For example, in terms of accuracy-computation trade-off, AutoGrow discovers a better depth combination in ResNets than human experts. Our AutoGrow is efficient. It discovers depth within similar time of training a single DNN. Our code is available at https://github.com/wenwei202/autogrow.

研究の動機と目的

• 深層ニューラルネットワークにおける最適なネットワーク深さを決定する手作業的かつヒューリスティックなプロセスを自動化すること。
• 多様なデータセットおよびアーキテクチャにおいて、ネットワーク深さの設計にかかる人的作業と計算コストを低減すること。
• 最大深さを事前に定義しない、固定された成長位置に依存しない近似的に最適な深さの発見。
• ImageNetのような大規模データセットにスケーラブルに適用可能な、効率的かつスケーラブルな深さ発見の実現。
• 深さ成長中の層の初期化および学習ダイナミクスに関する従来の仮定に挑戦すること。

提案手法

• サブモジュール（例：残差ブロック）から構成される浅い初期ネットワークから出発し、段階的に新しい層を追加する。
• 固定間隔（Kエポック）ごとに定期的な訓練および評価を実施し、成長の可能性を評価する。
• ネットワークモーフィズムに基づくパラメータ転送ではなく、新しい層をランダム初期化する。
• 浅いネットワークの早期収束を防ぐために、一定の大きな初期学習率と短い訓練間隔を適用する。
• 複数の間隔にわたり精度の向上が見られない場合に成長を停止する停止ポリシーを実装する。
• 成長が完了した後、最終アーキテクチャをNエポック分微調整して性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 人為的に定義された深さや成長位置なしに、自動的な深さ発見が可能か？
• RQ2 深さ成長中、新しい層のランダム初期化がモーフィズムベース初期化を上回るか？
• RQ3 浅いネットワークの収束を待つよりも、収束前までの急速な層成長がより効果的か？
• RQ4 同じハイパーパrameterを異なるデータセットおよびアーキテクチャに再利用して最適な深さを発見可能か？
• RQ5 AutoGrowの効率性および精度は、人為的に設計されたものやNASベースの深さ選択と比べてどうか？

主な発見

• AutoGrowは、MNIST、FashionMNIST、SVHN、CIFAR10、CIFAR100、ImageNetにおいて、同じハイパーパrameterを用いて近似的に最適な深さを発見した。
• ImageNetにおいて、AutoGrowは人為的に設計されたResNet-152よりも優れた精度-計算量トレードオフを持つResNetバージョンを発見した。
• 新しい層のランダム初期化は、ネットワークモーフィズムベース初期化と同等またはそれ以上の性能を示した。
• 浅いネットワークの収束を待たずに、一定の大きな初期学習率を用いて急速に層を追加することで、収束後に成長する場合よりも優れた性能が得られた。
• AutoGrowの総合的な学習時間は、1つのDNNを学習するのと同等であり、ImageNetにスケーラブルに適用可能で、非常に効率的である。
• AutoGrowで得られた最終モデルは、発見されたアーキテクチャをそのまま初期化して学習するよりも高い精度を達成しており、定期的な成長による利点が示された。