[論文レビュー] Ultimate tensorization: compressing convolutional and FC layers alike

Timur Garipov, Dmitry Podoprikhin+2 more|arXiv (Cornell University)|Nov 10, 2016

Tensor decomposition and applications参考文献 19被引用数 102

ひとこと要約

本論文は核を高次元テンソルにリシェイプしてテンソルトレインを畳み込み層に適用し、大規模なネットワーク圧縮（最大80x）を実現し、ほとんど精度を損なわず、既存の FC 層圧縮と組み合わせている。

ABSTRACT

Convolutional neural networks excel in image recognition tasks, but this comes at the cost of high computational and memory complexity. To tackle this problem, [1] developed a tensor factorization framework to compress fully-connected layers. In this paper, we focus on compressing convolutional layers. We show that while the direct application of the tensor framework [1] to the 4-dimensional kernel of convolution does compress the layer, we can do better. We reshape the convolutional kernel into a tensor of higher order and factorize it. We combine the proposed approach with the previous work to compress both convolutional and fully-connected layers of a network and achieve 80x network compression rate with 1.1% accuracy drop on the CIFAR-10 dataset.

研究の動機と目的

• CNNのストレージと計算を大きな精度損失なしに削減する動機づけ。
• 4DのTT適用に依存するだけでなく、畳み込み核へテンソル因子分解を拡張する。
• 高次元テンソルへのリシェイプが圧縮効果を改善することを示す。
• 畳み込み層と全結合層の圧縮を組み合わせる。
• CIFAR-10で実用的なトレーニング手法と再現性のある結果を提供する。

提案手法

• 畳み込み核を4Dカーネルから高次元テンソルへリシェイプしてTT形式で表現する。
• リシェイプしたカーネルに対して行列TT形式を適用し、FCテンソリゼーションの利点を再現する。
• 自動微分を用いたSGDとモーメンタムでTTコアを訓練する。
• 4Dカーネルへ直接適用した単純なTT分解とTT-convを比較する。
• TT-convを prior work のTT-fc と組み合わせて全ネットワークを圧縮する。
• CIFAR-10上でアーキテクチャ間の圧縮と精度のトレードオフを報告する。

実験結果

リサーチクエスチョン

• RQ1 TT分解を畳み込み核へ直接適用するより、より高次元テンソルへリシェイプしてTT-畳み込みにする方が上回るのか？
• RQ2 畳み込み層と全結合層の両方を圧縮したとき、どの程度の圧縮率と精度のトレードオフが得られるのか？
• RQ3 CIFAR-10設定で4Dカーネルに対する単純なTT適用とTT-convを比較するとどうなるのか？
• RQ4 畳み込み中心のネットワークで大幅な圏縮（例：80x）を、精度の低下を最小限に抑えて達成可能か？
• RQ5 畳み込み圧縮とFC圧縮を組み合わせると、全体の性能とストレージにどのような影響が出るのか？

主な発見

• 4Dの畳み込みカーネルにTTを直接適用すると成績が振るわず; 高次元テンソルへのリシェイプで圧縮効果が改善される。
• TT-convを用いた畳み込みネットワークは、CIFAR-10で単独使用時に modest な精度低下とともに最大で約4xの圧縮を達成。
• prior workのTT-fcとTT-convを組み合わせると、ネットワーク圧縮最大82x、精度低下約1%の達成例になる。
• 畳み込み中心のネットワークをTT-convで圧縮すると、TTランク次第で約4xの圧縮と約2%の精度低下となる。
• TT-fcとTT-convで圧縮された conv-fc ネットワークは、80xの総圧縮と約1%の精度低下など顕著な効果を達成する。
• このアプローチはCIFAR-10で再現可能な設定と二つのベースラインアーキテクチャで検証されている。