[論文レビュー] Tensorial Neural Networks: Generalization of Neural Networks and Application to Model Compression

Jiahao Su, Jingling Li+2 more|arXiv (Cornell University)|May 25, 2018

Tensor decomposition and applications参考文献 33被引用数 19

ひとこと要約

この論文では、高次元データへのテンソル演算の一般化を通じて、入力の多次元構造をフラット化せずに保持する、テンソリアルニューラルネットワーク（TNNs）を提案する。パラメータ学習を階層的非線形テンソル分解として定式化し、一般化テンソル代数における新しいバックプロパゲーションルールを導出することで、優れたモデル圧縮を実現。CIFAR-10において、同じ圧縮率で最先端の低ランク手法よりも5%の精度向上を達成し、圧縮率のオーダーが桁違いに速い収束を実現。

ABSTRACT

We propose tensorial neural networks (TNNs), a generalization of existing neural networks by extending tensor operations on low order operands to those on high order ones. The problem of parameter learning is challenging, as it corresponds to hierarchical nonlinear tensor decomposition. We propose to solve the learning problem using stochastic gradient descent by deriving nontrivial backpropagation rules in generalized tensor algebra we introduce. Our proposed TNNs has three advantages over existing neural networks: (1) TNNs naturally apply to high order input object and thus preserve the multi-dimensional structure in the input, as there is no need to flatten the data. (2) TNNs interpret designs of existing neural network architectures. (3) Mapping a neural network to TNNs with the same expressive power results in a TNN of fewer parameters. TNN based compression of neural network improves existing low-rank approximation based compression methods as TNNs exploit two other types of invariant structures, periodicity and modulation, in addition to the low rankness. Experiments on LeNet-5 (MNIST), ResNet-32 (CIFAR10) and ResNet-50 (ImageNet) demonstrate that our TNN based compression outperforms (5% test accuracy improvement universally on CIFAR10) the state-of-the-art low-rank approximation based compression methods under the same compression rate, besides achieving orders of magnitude faster convergence rates due to the efficiency of TNNs.

研究の動機と目的

• 従来のニューラルネットワークを高次テンソルへの演算の一般化により拡張し、フラット化せずに多次元入力をネイティブに処理できるようにすること。
• 階層的非線形テンソル分解を用いて、高次元テンソルネットワークにおけるパラメータ学習の課題を解決すること。
• 一般化テンソル代数内でのエンドツーエンドトレーニングを可能にする、新しいバックプロパゲーションフレームワークの開発。
• 低ランク性、周期性、変調性の複数の不変構造を活用し、従来の低ランク手法を上回る効果的なモデル圧縮を実現すること。
• 同じ圧縮率において、TNNベースの圧縮が最先端の圧縮技術を上回る精度と収束速度を達成することを実証すること。

提案手法

• 高次オペランドにおけるテンソル演算を用いたニューラルネットワークの一般化を提案し、多次元入力データを直接操作可能にする。
• パラメータ学習問題を、高次元データ内の複雑な相互作用を捉える階層的非線形テンソル分解として定式化する。
• 勾配ベース最適化をサポートするため、新たに導入された一般化テンソル代数内での非自明なバックプロパゲーションルールを導出する。
• 低ランク性、周期性、変調性の3つの不変構造をTNNフレームワークに統合し、圧縮効率を向上させる。
• 標準アーキテクチャ（LeNet-5、ResNet-32、ResNet-50）にTNNベースの圧縮を適用し、同等の表現力を持つがパラメータ数が少ないTNNに既存ネットワークをマッピングする。
• 導出されたバックプロパゲーションルールを用いた確率的勾配降下法により、TNNを効率的にトレーニングし、構造的不変性を活用して収束を高速化する。

実験結果

リサーチクエスチョン

• RQ1 フラット化を伴わせずに、高次テンソル入力上でネイティブに動作するニューラルネットワークを一般化できるか？ これにより、多次元データ構造が保持されるか？
• RQ2 階層的非線形テンソル分解の複雑さを考慮すると、高次元テンソルネットワークにおけるパラメータ学習はどのように定式化され、解けるか？
• RQ3 一般化テンソル代数内でのエンドツーエンドトレーニングを可能にするために、どのような新しいバックプロパゲーションルールが必要か？
• RQ4 TNNは、低ランク性、周期性、変調性という複数の不変構造をどれだけ活用できるか？ これにより、低ランク手法を上回る圧縮効果が得られるか？
• RQ5 同じ圧縮率において、TNNベースの圧縮は最先端の低ランク近似手法を精度と収束速度の両面で上回るか？

主な発見

• TNNは、高次テンソル上で直接演算することで、入力データの多次元構造を保持し、データのフラット化の必要性を排除する。
• 同じ圧縮率でCIFAR-10において、最先端の低ランク圧縮手法よりも5%のテスト精度向上を達成した。
• TNNベースの圧縮は、低ランク性、周期性、変調性の3つの不変構造を活用し、単一の低ランク手法よりも効果的なパラメータ削減を実現した。
• テンソルベースのパrameterizationの効率性のおかげで、TNNは標準的な圧縮ネットワークと比較して、オーダーが桁違いに速く収束する。
• LeNet-5（MNIST）、ResNet-32（CIFAR-10）、ResNet-50（ImageNet）への標準ニューラルネットワークのTNNへのマッピングにより、同等の表現力を持つが、パラメータ数が著しく少ないモデルが得られた。
• LeNet-5（MNIST）、ResNet-32（CIFAR-10）、ResNet-50（ImageNet）における実験により、多様なベンチマークで一貫した性能向上と効率性の向上が確認された。