[論文レビュー] Exploiting Local Structures with the Kronecker Layer in Convolutional Networks

Shuchang Zhou, Jianan Wu+2 more|arXiv (Cornell University)|Dec 31, 2015

Advanced Neural Network Applications参考文献 27被引用数 29

ひとこと要約

本稿では、完全結合層および畳み込み層内の大きな重み行列を、より小さな行列のクロネッカー積の和として置き換えるパラメータ効率の良い手法、Kroneckerレイヤーを提案する。これにより、1%未満の精度低下で最大3.6倍のパラメータ削減または3.3倍の高速化が可能となる。この手法は、低ランク近似よりも重み行列内の局所的構造的再冗長性をより効果的に活用し、SVHNおよびCASIA-HWDBで最先端の性能を達成しながら、モデルサイズを縮小し、推論を高速化する。

ABSTRACT

In this paper, we propose and study a technique to reduce the number of parameters and computation time in convolutional neural networks. We use Kronecker product to exploit the local structures within convolution and fully-connected layers, by replacing the large weight matrices by combinations of multiple Kronecker products of smaller matrices. Just as the Kronecker product is a generalization of the outer product from vectors to matrices, our method is a generalization of the low rank approximation method for convolution neural networks. We also introduce combinations of different shapes of Kronecker product to increase modeling capacity. Experiments on SVHN, scene text recognition and ImageNet dataset demonstrate that we can achieve $3.3 imes$ speedup or $3.6 imes$ parameter reduction with less than 1\% drop in accuracy, showing the effectiveness and efficiency of our method. Moreover, the computation efficiency of Kronecker layer makes using larger feature map possible, which in turn enables us to outperform the previous state-of-the-art on both SVHN(digit recognition) and CASIA-HWDB (handwritten Chinese character recognition) datasets.

研究の動機と目的

• リソース制限のあるデバイスへの効率的な展開を図るため、畳み込みニューラルネットワークのパラメータ数と計算時間を削減すること。
• 標準的な低ランク近似では捉えきれない、重み行列およびテンソル内の局所的構造的パターンを活用すること。
• 外積に基づく低ランク手法を高次元の局所的構造に一般化する、汎用性の高いKronecker積フレームワークの開発。
• Kroneckerベースの圧縮が、同等のモデルサイズにおいて、先行手法よりも高速な推論と高い精度を達成できることを示すこと。
• 標準的なディープラーニングフレームワークと互換性があり、効率的かつ微分可能なKroneckerレイヤーの実装を提供すること。

提案手法

• Kroneckerレイヤーは、大きな重み行列をより小さな行列のクロネッカー積の和に置き換える。これにより、局所的な空間的構造を捉えることで、低ランク近似を一般化する。
• 行列の恒等式 (A ⊗ B)vec(X) = vec(B X A^T) を活用し、標準的な行列乗算とreshape操作を用いて、前向き伝搬を効率的に計算する。
• Kronecker成分の形状やランクを可変にすることで、モデルサイズ、速度、精度の間で柔軟なトレードオフを実現できる。
• 畳み込み層への応用のために、フィルタをより小さなカーネルのクロネッカー積に再パラメータ化することで、局所的な空間的パターンを保持する。
• 訓練の安定化のための新しい初期化スキームを導入し、各Kronecker成分の後に活性化関数を適用することで表現力の向上を図る。
• 標準的なディープラーニング演算のみを用いて実装されているため、カスタムカーネルを必要とせず、CPUおよびGPUでの効率的な推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 クロネッカー積に基づく因子分解は、標準的な低ランク近似よりも、ニューラルネットワーク重みの局所的構造的再冗長性をより効果的に活用できるか？
• RQ2 Kroneckerレイヤーは、ベンチマークビジョンタスクにおいて、高い精度を維持したまま、モデルサイズと推論時間をどの程度削減できるか？
• RQ3 異なる形状とランクを持つ複数のクロネッカー積を組み合わせることで、パラメータ効率と精度のトレードオフにどのような影響を与えるか？
• RQ4 Kroneckerレイヤーは、SVDや低ランク因子分解といった既存の圧縮技術よりも、速度と精度の両面で優れているか？
• RQ5 Kroneckerレイヤーの使用により、計算量の削減のおかげでより大きな特徴マップが可能になり、認識タスクでの性能向上が達成できるか？

主な発見

• SVHNデータセットでは、ベースラインと比較して1%未満の精度低下で3.3倍の高速化、または3.6倍のパラメータ削減を達成した。
• CASIA-HWDB手書き中国語文字認識データセットでは、同程度のモデルサイズで、従来の最先端手法を上回る性能を示した。
• ImageNetでは、KFC-3モデルが、ベースラインと比較してパラメータを10倍（610万に）削減し、トップ-1誤差は2.72%増加にとどまった。同じ圧縮比下でSVD-3を上回った。
• 40個の合計ランク成分を有するKFCレイヤーは、標準的な全結合層と比較して92%のパラメータ削減を達成しながら、ICDAR’13では高い精度を維持した。
• 実験により、Kroneckerレイヤーは標準的な演算のみで効率的に実装可能であり、CPU上でも高速な推論が可能であることが示された。また、精度-速度トレードオフのための柔軟なハイパーパramータチューニングが可能である。
• 画像の近似比較を通じて、外積に基づく低ランク近似と比較して、重み行列における再構築効率が優れていることが実証された。