[論文レビュー] Splitting Convolutional Neural Network Structures for Efficient Inference

Emad MalekHosseini, Mohsen Hajabdollahi+3 more|arXiv (Cornell University)|Feb 9, 2020

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、VGG16 や ResNet18 などの深層畳み込みニューラルネットワーク（CNN）におけるメモリ消費量と計算コストを低減するための新しいネットワーク構造分割技術を提案する。ネットワークをより小さな、独立して処理可能なコンponentsに分割することにより、ピークメモリ使用量を低減し、効率的な推論を実現する。FLOPs も低減され、CIFAR-10 での実験で明確な効率性向上が確認された。

ABSTRACT

For convolutional neural networks (CNNs) that have a large volume of input data, memory management becomes a major concern. Memory cost reduction can be an effective way to deal with these problems that can be realized through different techniques such as feature map pruning, input data splitting, etc. Among various methods existing in this area of research, splitting the network structure is an interesting research field, and there are a few works done in this area. In this study, the problem of reducing memory utilization using network structure splitting is addressed. A new technique is proposed to split the network structure into small parts that consume lower memory than the original network. The split parts can be processed almost separately, which provides an essential role for better memory management. The split approach has been tested on two well-known network structures of VGG16 and ResNet18 for the classification of CIFAR10 images. Simulation results show that the splitting method reduces both the number of computational operations as well as the amount of memory consumption.

研究の動機と目的

• 大容量の入力データを処理する深層CNNにおける高いメモリ消費量に対処すること。
• VGG16 や ResNet18 などの最先端モデルにおける計算およびメモリのオーバーヘッドを低減すること。
• 効率的推論のためのネットワーク構造分割が実用的であるかを検討すること。
• メモリ制約下でのモデル効率性と精度のトレードオフを評価すること。

提案手法

• ネットワークをより小さな、順次処理可能なコンponentsに分割し、ピークメモリ使用量を低減する。
• 畳み込み層および全結合層にわたり分割を適用し、モデルの機能を保持する。
• 各分割モジュールを順次処理することで、すべての特徴マップを同時に保持する必要性を低減する。
• 分割時のアーキテクチャ的変更を最小限に抑え、モデルの精度を維持する。
• 分類タスクにおいて、CIFAR-10 を用いて VGG16 および ResNet18 に対してアプローチを評価する。
• 元のネットワーク構成と比較することで、メモリおよび FLOP の削減を測定する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク構造の分割によって、顕著な精度損失なしにメモリ消費量を低減できるか？
• RQ2 構造的分割は、CNN 推論における FLOPs の数にどのように影響を与えるか？
• RQ3 VGG16 や ResNet18 におけるメモリ使用量は、ネットワーク分割によってどの程度低減可能か？
• RQ4 分割モジュールを独立して処理することで、メモリ管理が改善できるか？

主な発見

• 提案手法により、VGG16 および ResNet18 の両方において、ネットワークをより小さな、順次処理可能なコンponentsに分割することで、メモリ消費量が低減された。
• ピーク活性化ストレージの低減とモジュラー処理のおかげで、計算オペレーション数（FLOPs）が削減された。
• CIFAR-10 における分類精度は最小限の低下に抑えられ、分割後の構造的整合性が保たれていることが示された。
• 本手法は、メモリ制限環境における実用的導入可能性を示した。