[論文レビュー] Dynamic Neural Network Channel Execution for Efficient Training

Simeon E. Spasov, Píetro Lió|arXiv (Cornell University)|May 15, 2019

Advanced Neural Network Applications参考文献 34被引用数 4

ひとこと要約

本稿では、組み合わせ的上位信頼区間（CUCB）アルゴリズムを用いて、各学習ステップで最も顕著な畳み込みチャネルのみを選択的に活性化することで、CNNにおける学習コストと推論コストを低減する動的チャネル実行フレームワークを提案する。この手法により、FLOPsは最大4倍、パラメータ数は最大9倍の削減が達成され、精度の低下は最小限に抑えられ、追加のモデル複雑性を伴わず、コンactなモデルの効率的発見が可能になる。

ABSTRACT

Existing methods for reducing the computational burden of neural networks at run-time, such as parameter pruning or dynamic computational path selection, focus solely on improving computational efficiency during inference. On the other hand, in this work, we propose a novel method which reduces the memory footprint and number of computing operations required for training and inference. Our framework efficiently integrates pruning as part of the training procedure by exploring and tracking the relative importance of convolutional channels. At each training step, we select only a subset of highly salient channels to execute according to the combinatorial upper confidence bound algorithm, and run a forward and backward pass only on these activated channels, hence learning their parameters. Consequently, we enable the efficient discovery of compact models. We validate our approach empirically on state-of-the-art CNNs - VGGNet, ResNet and DenseNet, and on several image classification datasets. Results demonstrate our framework for dynamic channel execution reduces computational cost up to 4x and parameter count up to 9x, thus reducing the memory and computational demands for discovering and training compact neural network models.

研究の動機と目的

• リソース制約のあるデバイス上で深層CNNの学習にかかるメモリおよび計算要求を低減すること。
• 訓練後処理として適用するのではなく、訓練プロセスそのものにチャネルプルーニングを統合すること。
• 動的チャネル選択を通じて、コンパクトでパラメータ効率の良いニューラルネットワークモデルを効率的に発見すること。
• 訓練および推論中に精度を維持または向上させながら、モデルの複雑性を最小限に抑えること。

提案手法

• チャネル選択を探索と活用のバランスを取る組み合わせ的マルチアームバンディット問題として定式化する。
• 各学習ステップで、最も高い推定顕著性を持つチャネルのサブセットを選択するために、組み合わせ的上位信頼区間（CUCB）アルゴリズムを用いる。
• 前方および逆伝搬の実行時に、選択されたチャネルのみが活性化され実行されるため、メモリ使用量とFLOP使用量が削減される。
• チャネルの顕著性は、位置や接続性とは独立して、ネットワーク性能に対する相対的寄与度に基づいて追跡される。
• 顕著なチャネルが特定された後、ネットワークトポロジーは固定され、選択されたチャネルが微調整されて精度が向上する。
• 従来の動的推論手法とは異なり、ゲーティング用の追加パラメータを導入しない。

実験結果

リサーチクエスチョン

• RQ1 訓練中に動的チャネル選択を適用することで、モデル精度を損なわず、計算コストおよびメモリコストを顕著に低減できるか？
• RQ2 プルーニングを訓練プロセスに統合すると、コンパクトなCNNの効率性およびパフォーマンスにどのような影響を与えるか？
• RQ3 CUCBを用いたチャネル選択が、ランダム選択やヒューリスティック選択戦略を上回るか？
• RQ4 画像分類タスクにおいてベースライン精度を維持しつつ、パラメータ数とFLOPsをどの程度まで削減できるか？

主な発見

• SVHNおよびCIFAR-10において、30%の活性チャネルで学習したResNet-50は、FLOPsで4倍以上、パラメータ数で3倍以上の削減が達成され、精度の低下は最小限であった。
• CIFAR-10において、最良の性能を示したVGGモデルは、70–90%の活性チャネルを用いて、パラメータ数を2倍に削減した。
• 非常にコンパクトなモデル（30–40%の活性チャネル）では、パラメータ数が3倍～7倍、FLOPsが2倍～5倍削減され、CIFAR-10およびSVHNのベースライン精度と同等の性能を示した。
• ResNet-50は、CIFAR-10およびSVHNで最大9倍のパラメータ削減を達成し、ベースラインレベルの性能を維持した。
• CIFAR-100では、30–40%の活性チャネルを持つモデルが2–3%の精度低下を示したことから、100クラス分類にはより高い容量が求められることが示唆された。
• CUCBに基づくチャネル選択は、特に低チャネル比の状況でランダム選択を上回り、活性チャネル数が減少するに従い性能差が広がった。