[論文レビュー] SpecNet: Spectral Domain Convolutional Neural Network

Bochen Guan, Jinnian Zhang+3 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 41被引用数 8

ひとこと要約

SpecNet は、FFT を用いた演算と可変しきい値によるスパarsity を用いて、スペクトル領域で畳み込みと活性化を実行するメモリ効率の良い CNN アーキテクチャであり、CIFAR-10、SVHN、ImageNet ベンチマークで顕著な精度損失なしに特徴マップのメモリ使用量を最大 60% 減少させる。

ABSTRACT

The memory consumption of most Convolutional Neural Network (CNN) architectures grows rapidly with increasing depth of the network, which is a major constraint for efficient network training on modern GPUs with limited memory, embedded systems, and mobile devices. Several studies show that the feature maps (as generated after the convolutional layers) are the main bottleneck in this memory problem. Often, these feature maps mimic natural photographs in the sense that their energy is concentrated in the spectral domain. Although embedding CNN architectures in the spectral domain is widely exploited to accelerate the training process, we demonstrate that it is also possible to use the spectral domain to reduce the memory footprint, a method we call Spectral Domain Convolutional Neural Network (SpecNet) that performs both the convolution and the activation operations in the spectral domain. The performance of SpecNet is evaluated on three competitive object recognition benchmark tasks (CIFAR-10, SVHN, and ImageNet), and compared with several state-of-the-art implementations. Overall, SpecNet is able to reduce memory consumption by about 60% without significant loss of performance for all tested networks.

研究の動機と目的

• 学習中の大きな中間特徴マップによる深層 CNN のメモリボトルネックを解消すること。
• 特にモバイルおよび組み込みシステムにおいてモデル性能を損なわずに CNN のメモリ消費量を削減すること。
• スペクトル領域のエネルギー集中特性を活用して、特徴マップのスパースなメモリ効率の良い保存を可能にすること。
• バックプロパゲーションの勾配伝搬を保持しつつ、畳み込みと活性化を両方スペクトル領域で実行する新しい CNN ブロックを設計すること。
• スペクトル領域処理が標準的な空間領域 CNN と比較して顕著なメモリ節約を達成できることを実証すること。

提案手法

• 入力特徴マップと畳み込みカーネルを高速フーリエ変換（FFT）を用いてスペクトル領域に変換する。
• 変換された入力とカーネルの要素ごとの乗算によりスペクトル領域畳み込みを実行し、計算複雑度を低減する。
• 小さな大きさのスペクトル係数をゼロにするために可変しきい値 β を適用し、特徴マップのスパーストアを可能にする。
• スパarsity と対称性を維持するとともにバックプロパゲーションをサポートするスペクトル領域活性化関数を設計する。
• 標準的な CNN アーキテクチャ（例：AlexNet、VGG、DenseNet）にスペクトル畳み込みブロックを統合し、ネットワーク全体の構造を変更しない。
• スペクトル領域モデルにおけるバッチ正則化レイヤーを、学習安定性を維持する同等のスペクトルブロックに置き換える。

実験結果

リサーチクエスチョン

• RQ1 スペクトル領域処理により、特徴マップのエネルギー集中特性を活用して CNN のメモリ消費量を削減できるか？
• RQ2 スペクトル領域 CNN と標準的な空間領域 CNN との間で、精度とメモリ効率の面で性能に差があるか？
• RQ3 スペクトル領域でのスパarsity が、モデル精度を劣化させることなく特徴マップのストレージをどの程度削減できるか？
• RQ4 既存の CNN アーキテクチャに最小限のアーキテクチャ的変更でスペクトル領域畳み込みを統合できるか？
• RQ5 可変しきい値 β を変更した場合、メモリ削減と精度のトレードオフはどのようなものか？

主な発見

• SpecNet は CIFAR-10、SVHN、ImageNet ベンチマークでピークメモリ使用量を最大 63%、平均メモリ使用量を 60% 減少させた。
• ImageNet において、Spec-DenseNet169 では 40.8%、Spec-VGG16 では 46.7% のメモリ使用量に抑えられたのに対し、元のモデルでは 100% であった。
• Spec-DenseNet169 ではトップ-1精度が 74.6%（元の 76.2%）へ 2.1% の低下にとどまり、Spec-VGG16 でも同様に 2.1% の低下（71.3% → 69.2%）であり、トップ-5精度はほぼ同一であった。
• 特に深層ネットワークにおいて、INPLACE-ABN や LQ-Net、HarDNet などの他のメモリ効率の良い手法よりも SpecNet が優れたメモリ削減を達成した。
• 本手法は量子化やプルーニングなどの既存技術と直交しており、組み合わせることでさらなるメモリ削減が可能である。
• 最適化された FFT 演算のおかげで、一部のケースでは計算効率も向上するが、主な利点はメモリ削減にある。