[論文レビュー] Compressing Convolutional Neural Networks

Wenlin Chen, James T. Wilson+3 more|arXiv (Cornell University)|Jun 14, 2015

Neural Networks and Applications参考文献 29被引用数 32

ひとこと要約

この論文では、学習済みフィルタの周波数ドメインにおける滑らかさを活用することで、畳み込みニューラルネットワークを圧縮する新規手法FreshNetsを提案する。フィルタ重みに離散コサイン変換（DCT）を適用し、周波数に敏感なハッシュ化—低周波数成分を高周波数成分よりも多くのハッシュボックスに割り当てる—を用いることで、顕著な圧縮効率を達成し、精度損失を最小限に抑えつつ、高圧縮率においてベースラインを著しく上回る性能を発揮する。

ABSTRACT

Convolutional neural networks (CNN) are increasingly used in many areas of computer vision. They are particularly attractive because of their ability to "absorb" great quantities of labeled data through millions of parameters. However, as model sizes increase, so do the storage and memory requirements of the classifiers. We present a novel network architecture, Frequency-Sensitive Hashed Nets (FreshNets), which exploits inherent redundancy in both convolutional layers and fully-connected layers of a deep learning model, leading to dramatic savings in memory and storage consumption. Based on the key observation that the weights of learned convolutional filters are typically smooth and low-frequency, we first convert filter weights to the frequency domain with a discrete cosine transform (DCT) and use a low-cost hash function to randomly group frequency parameters into hash buckets. All parameters assigned the same hash bucket share a single value learned with standard back-propagation. To further reduce model size we allocate fewer hash buckets to high-frequency components, which are generally less important. We evaluate FreshNets on eight data sets, and show that it leads to drastically better compressed performance than several relevant baselines.

研究の動機と目的

• モバイルおよび組み込みシステムにおける深層CNNの増大するメモリおよびストレージ要件に対処すること。
• 学習済み畳み込みフィルタに内在する滑らかさと低周波数優位性を活用して、効果的な圧縮を実現すること。
• パラメータフリーで学習可能な圧縮手法を開発し、極端な圧縮下でも高いテスト精度を維持すること。
• 低ランク分解、重み量子化、空間ドメインハッシュ化などの既存の圧縮技術を凌駕すること。

提案手法

• 畳み込みフィルタ重みを離散コサイン変換（DCT）を用いて周波数ドメインに変換する。
• ランダムなハッシュ関数を適用して周波数ドメイン係数を共有バケツにグループ化し、標準的なバックプロパゲーションにより共有値を学習する。
• 高周波数成分の重要度が低いため、それらに割り当てるハッシュボックスを減らすことで、周波数に敏感な圧縮を実現する。
• 逆DCTとハッシュ化された周波数係数を用いて、推論時にフィルタを再構築する。
• 各周波数帯ごとの圧縮率をベータ分布でパrameter化することで、ハッシュボックスの割り当てを適応的に行う。
• 重み共有を類似した周波数成分に限定することで、フィルタの構造的性質を保持する。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメインへの変換とハッシュ化により、CNNモデルのサイズを顕著に削減しつつ、精度を維持できるか？
• RQ2 低周波数成分に多くのハッシュボックスを割り当てる周波数に敏感なハッシュ化—空間ドメインハッシュ化や均等なハッシュ化と比較して—は、圧縮モデルの性能を向上させるか？
• RQ3 低ランク分解、量子化、特徴ハッシュ化などの既存の圧縮ベースラインと比較して、本手法は精度と圧縮比の観点でどのように差をつけるか？
• RQ4 本手法は、圧縮中に学習済みフィルタの滑らかさと構造的性質をどの程度保持できるか？

主な発見

• FreshNetsは、全ベースラインを上回る圧縮モデル性能を発揮し、特に高圧縮率（例：1/64および1/256）において顕著な優位性を示した。8つのデータセットにおいて、最小の一般化誤差を達成した。
• 高周波数成分に少ないボックスを割り当てる周波数に敏感なハッシュ化スキーム（図4の青線）が、均等（赤）および逆（マゼンタ）スキームを上回るテスト誤差を達成した。
• フィルタの可視化結果から、FreshNetsは学習済みフィルタの滑らかさを保持している一方、HashedNetsは空間ドメインでの重み共有により、混沌とした非滑らかなパターンを生成している。
• 極端な圧縮率下でも高い精度を維持でき、複数の圧縮レベルにおいて、周波数に無関心な手法と比較して、正規化されたテスト誤差が1.2–1.5倍低い。
• 主な利点は、画像表現に不可欠な低周波数成分を保持しつつ、重要度の低い高周波数領域での高圧縮を可能にしている点にある。