[論文レビュー] WSNet: Compact and Efficient Networks Through Weight Sampling

Xiaojie Jin, Shuicheng Yan+5 more|arXiv (Cornell University)|Nov 28, 2017

Music and Audio Processing参考文献 41被引用数 3

ひとこと要約

WSNetは、コンパクトで効率的な深層ニューラルネットワークを学習するために、小さなパラメータ集合からフィルタをサンプリングする画期的な重みサンプリングアーキテクチャを導入している。この手法により、顕著なモデル圧縮と計算コスト削減が可能となり、音声分類タスクにおいて最大180倍のモデルサイズ削減と最大16倍の高速化を達成しながら、精度の低下を最小限に抑えている。最先端のベースラインを上回る性能を示している。

ABSTRACT

We present a new approach and a novel architecture, termed WSNet, for learning compact and efficient deep neural networks. Existing approaches conventionally learn full model parameters independently and then compress them via ad hoc processing such as model pruning or filter factorization. Alternatively, WSNet proposes learning model parameters by sampling from a compact set of learnable parameters, which naturally enforces {parameter sharing} throughout the learning process. We demonstrate that such a novel weight sampling approach (and induced WSNet) promotes both weights and computation sharing favorably. By employing this method, we can more efficiently learn much smaller networks with competitive performance compared to baseline networks with equal numbers of convolution filters. Specifically, we consider learning compact and efficient 1D convolutional neural networks for audio classification. Extensive experiments on multiple audio classification datasets verify the effectiveness of WSNet. Combined with weight quantization, the resulted models are up to 180 times smaller and theoretically up to 16 times faster than the well-established baselines, without noticeable performance drop.

研究の動機と目的

• リソース制約のある環境における深層ニューラルネットワークの高いモデルサイズと計算コストを解決すること。
• 重みを独立して扱い、構造的相関を無視する既存のモデル圧縮技術の限界を克服すること。
• 学習の初期段階からパラメータ共有を強制する統合的なトレーニング戦略を開発すること。
• 音声およびビジョンタスク向けに、小規模で高性能な1次元および2次元畳み込みネットワークの効率的学習を可能にすること。
• サンプリングされたフィルタアーキテクチャにおける積分画像ベースの計算高速化が、トレーニングおよび推論の両方で有効に機能することを実証すること。

提案手法

• WSNetは、標準的なフィルタよりもはるかに小さなサイズの圧縮されたフィルタの集合を用いて畳み込み層をパrameter化する。
• ネットワーク内の実際のフィルタは、空間的およびチャネルワイドなサンプリングにより圧縮されたフィルタから抽出され、トレーニングの初期段階からパラメータ共有が強制される。
• 重複するサンプリングされたフィルタを用いることで、冗長性を活用し、積分画像ベースの高速化技術を用いて効率的な計算を実現する。
• 積分画像法により、重複するフィルタ応答の計算コストが効率的に削減され、冗長な演算が最小限に抑えられる。
• 重み量子化を重みサンプリングと併用することで、精度の著しい損失なしにさらにモデルサイズを圧縮する。
• 同じサンプリングおよび積分画像の原則を用いて2次元CNNに拡張し、1次元タスクを超えた一般化の有効性を示している。

実験結果

リサーチクエスチョン

• RQ1 トレーニング段階からパラメータ共有を強制するように、深層学習アーキテクチャを根本から設計することは可能か？
• RQ2 コンパクトなフィルタ集合からの重みサンプリングは、プルーニング、量子化、因子分解などの既存手法と比較して、優れたモデル圧縮と高速化を達成できるか？
• RQ3 重複するサンプリングされたフィルタの使用は、小規模なネットワークにおいて高い効率性と強力な学習能力を両立できるか？
• RQ4 積分画像法は、このようなサンプリングフィルタアーキテクチャにおいて、トレーニングおよび推論の両方を効果的に高速化できるか？
• RQ5 音声およびビジョンベンチマークにおいて、WSNetは精度、モデルサイズ、推論速度の観点で最先端のモデルと比較してどのように性能を発揮するか？

主な発見

• ESC-50データセットでは、WSNetは0.52Mパラメータのモデルサイズで66.5%の精度を達成し、ベースライン比で100倍の縮小を実現した。
• 追加の重み量子化を適用した場合、モデルサイズは0.07Mパラメータ（ベースライン比180倍の縮小）にまで削減され、65.8%の精度を維持した。
• UrbanSound8KおよびDCASEデータセットでは、WSNetはベースラインと同等またはより高い精度を達成しながら、モデルサイズを最大100倍まで縮小した。
• CIFAR-10およびMNISTでは、同じ圧縮比下でHashNetよりも低い誤差率を達成し、同等の圧縮下でも優れた性能を示した。
• ResNet50に適用した場合、モデルサイズは0.85Mから0.094Mに9倍に縮小され、トップ1精度は0.5%の低下にとどまった。
• 積分画像ベースの計算手法により、重複するフィルタ演算における冗長計算が削減され、推論速度が最大16倍まで向上した。