[論文レビュー] Convolutional neural networks with low-rank regularization

Cheng Tai, Tong Xiao+3 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Neural Network Applications被引用数 279

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）のプルーニングのための新しい低ランクテンソル分解アルゴリズムを提案し、カーネルの重複を正確に全空間最適化可能にする。この手法は、低ランク制約付きのCNNを再訓練から開始し、VGG-16などにおいて最大50%の高速化（推論時間短縮）を達成しながら、精度を向上または同等に保つ。例として、データ拡張なしでCIFAR-10で91.31%のトップ-1精度を達成し、最先端技術を上回る。

ABSTRACT

Abstract: Large CNNs have delivered impressive performance in various computer vision applications. But the storage and computation requirements make it problematic for deploying these models on mobile devices. Recently, tensor decompositions have been used for speeding up CNNs. In this paper, we further develop the tensor decomposition technique. We propose a new algorithm for computing the low-rank tensor decomposition for removing the redundancy in the convolution kernels. The algorithm finds the exact global optimizer of the decomposition and is more effective than iterative methods. Based on the decomposition, we further propose a new method for training low-rank constrained CNNs from scratch. Interestingly, while achieving a significant speedup, sometimes the low-rank constrained CNNs delivers significantly better performance than their non-constrained counterparts. On the CIFAR-10 dataset, the proposed low-rank NIN model achieves $91.31\%$ accuracy (without data augmentation), which also improves upon state-of-the-art result. We evaluated the proposed method on CIFAR-10 and ILSVRC12 datasets for a variety of modern CNNs, including AlexNet, NIN, VGG and GoogleNet with success. For example, the forward time of VGG-16 is reduced by half while the performance is still comparable. Empirical success suggests that low-rank tensor decompositions can be a very useful tool for speeding up large CNNs.

研究の動機と目的

• モバイルデプロイメント向けに大規模CNNの計算コストおよびストレージコストを削減すること。
• 反復的手法による低ランクテンソル分解の計算における非効率性を解消すること。
• 精度を向上または同等に保ちつつ、ランダム初期化から低ランクCNNを訓練する手法を開発すること。
• 低ランク制約が単なる高速化を超えて一般化性能を向上させる可能性があるかを検討すること。

提案手法

• 反復的手法による局所最適解を避けるために、正確なグローバル最適化を求める新しいアルゴリズムを提案。
• 畳み込みカーネルへのテンソル分解を適用し、重複を除去し、パラメータ数を削減する。
• ランダム初期化から開始する低ランク制約付きCNNの訓練手順を導入。
• Tucker分解または類似する低ランク因子分解を用い、3次元／4次元畳み込みカーネルをより小さな低ランク成分に表現する。
• 構造的制約を維持しながら、トレーニング中に低ランクモデルをエンドツーエンドで最適化する。
• 正確な最適化を採用することで、分解がグローバルに最適であることを保証し、安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 正確な低ランクテンソル分解は、反復的手法を上回る性能を示せるか？
• RQ2 ランダム初期化から低ランクCNNを訓練した場合、フルランクモデルと比較して精度が向上または同等になるか？
• RQ3 低ランク制約は一般化性能を向上させ、非制約モデルよりも高い精度を達成できるか？
• RQ4 性能を損なわず、推論速度をどの程度向上できるか？

主な発見

• 提案された低ランクNINモデルは、データ拡張なしでCIFAR-10で91.31%のトップ-1精度を達成し、最先端技術を上回る結果を得た。
• VGG-16の前向き推論時間は、低ランク分解を用いることで50%短縮され、同等の性能を維持した。
• この手法は、AlexNet、NIN、VGG、GoogleNetの複数のアーキテクチャをCIFAR-10およびILSVRC12の両方で効果的に高速化した。
• 驚くべきことに、低ランク制約付きモデルが、フルランクモデルを上回ることもあった。これは、正則化効果の可能性を示唆している。
• 反復的代替手法よりも正確な最適化アルゴリズムが効果的であり、より良好な収束性と性能を達成した。