[論文レビュー] NeST: A Neural Network Synthesis Tool Based on a Grow-and-Prune Paradigm

Xiaoliang Dai, Hongxu Yin+1 more|arXiv (Cornell University)|Nov 6, 2017

Advanced Neural Network Applications参考文献 42被引用数 51

ひとこと要約

NeSTは訓練中に疎なシードからDNNアーキテクチャを同時に成長させ pruning し、コンパクトで高精度なネットワークを合成します。MNISTとImageNetでパラメータ数とFLOPsの大幅な削減を達成します。

ABSTRACT

Deep neural networks (DNNs) have begun to have a pervasive impact on various applications of machine learning. However, the problem of finding an optimal DNN architecture for large applications is challenging. Common approaches go for deeper and larger DNN architectures but may incur substantial redundancy. To address these problems, we introduce a network growth algorithm that complements network pruning to learn both weights and compact DNN architectures during training. We propose a DNN synthesis tool (NeST) that combines both methods to automate the generation of compact and accurate DNNs. NeST starts with a randomly initialized sparse network called the seed architecture. It iteratively tunes the architecture with gradient-based growth and magnitude-based pruning of neurons and connections. Our experimental results show that NeST yields accurate, yet very compact DNNs, with a wide range of seed architecture selection. For the LeNet-300-100 (LeNet-5) architecture, we reduce network parameters by 70.2x (74.3x) and floating-point operations (FLOPs) by 79.4x (43.7x). For the AlexNet and VGG-16 architectures, we reduce network parameters (FLOPs) by 15.7x (4.6x) and 30.2x (8.6x), respectively. NeST's grow-and-prune paradigm delivers significant additional parameter and FLOPs reduction relative to pruning-only methods.

研究の動機と目的

• 過度な試行錯誤や固定アーキテクチャなしに、コンパクトなDNNアーキテクチャを発見する必要性を動機づける。
• 成長と剪定を通じて重みとアーキテクチャの両方を学習する合成ツールNeSTを提案する。
• 複数のデータセットとシードアーキテクチャにわたり、NeSTが正確でかつ非常にコンパクトなモデルを生み出すことを示す。
• 成長＋剪定は剪定のみより大きな削減をもたらす。

提案手法

• すべてのニューロンが接続されたまま、ランダムに初期化された疎なシードアーキテクチャから開始する。
• 2つの連続フェーズを適用する：勾配に基づく成長で接続／ニューロン／特徴マップを追加し、次に大きさに基づく剪定で冗長性を削除する。
• 3つの成長方針を用いる： (1) ロス削減勾配に driven された接続成長、(2) 架橋勾配と相関ニューロン対を平方根で初期化した重みで接続するニューロン成長、(3) 畳み込み層の特徴マップ成長。
• 剪定では、バッチ正規化の調整を伴う大きさベースの剪定を適用し、各カーネルごとに入力領域を剪定する部分領域畳み込みを導入する。
• 剪定後に性能を回復するための再訓練を任意で実施。
• MNISTとImageNet上でLeNet-, AlexNet-, VGG-16系のシードを用いてTensorFlow/PyTorchで実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 NeSTは多様な疎なシードアーキテクチャからコンパクトで正確なDNNを合成できるか。
• RQ2 勾配ガイド付き成長は大きさベースの剪定とどのように相互作用し、剪定のみと比較してパラメータとFLOPsを削減するか。
• RQ3 シードサイズとアーキテクチャが最終モデルのコンパクトさと精度に与える影響はMNISTとImageNetでどうなるか。
• RQ4 部分領域畳み込みは実務で精度を損なわずにFLOPsをさらに削減するか。

主な発見

• MNISTのLeNet-300-100では、NeSTはパラメータを70.2×、FLOPsを79.4×削減（LeNet-5では74.3×、43.7×）。
• ImageNetのAlexNetおよびVGG-16では、NeSTはパラメータをそれぞれ15.7×および30.2×、FLOPsをそれぞれ4.6×および8.6×削減。
• 成長と剪定は、 tested architectures 全体で剪定のみの方法より大きな削減を達成。
• NeSTは広いシードレンジを可能にし、全結合ベースの基準と比較して精度の損失なしに非常にコンパクトなDNNを生成できる事例が報告されている。