[論文レビュー] Stable Tensor Neural Networks for Rapid Deep Learning

Elizabeth Newman, Lior Horesh+2 more|arXiv (Cornell University)|Nov 15, 2018

Tensor decomposition and applications参考文献 25被引用数 20

ひとこと要約

この論文は、t-積代数を活用して多次元データを従来の行列ベースの深層学習よりも効率的に処理できる安定したテンソルニューラルネットワーク（t-NN）を導入する。標準的な行列演算をテンソル演算に置き換えることで、よりコンactで強力なパラメータ化が実現され、MNISTおよびCIFAR-10ベンチマークにおいて高速な学習と向上した一般化性能を達成する。

ABSTRACT

We propose a tensor neural network ($t$-NN) framework that offers an exciting new paradigm for designing neural networks with multidimensional (tensor) data. Our network architecture is based on the $t$-product (Kilmer and Martin, 2011), an algebraic formulation to multiply tensors via circulant convolution. In this $t$-product algebra, we interpret tensors as $t$-linear operators analogous to matrices as linear operators, and hence our framework inherits mimetic matrix properties. To exemplify the elegant, matrix-mimetic algebraic structure of our $t$-NNs, we expand on recent work (Haber and Ruthotto, 2017) which interprets deep neural networks as discretizations of non-linear differential equations and introduces stable neural networks which promote superior generalization. Motivated by this dynamic framework, we introduce a stable $t$-NN which facilitates more rapid learning because of its reduced, more powerful parameterization. Through our high-dimensional design, we create a more compact parameter space and extract multidimensional correlations otherwise latent in traditional algorithms. We further generalize our $t$-NN framework to a family of tensor-tensor products (Kernfeld, Kilmer, and Aeron, 2015) which still induce a matrix-mimetic algebraic structure. Through numerical experiments on the MNIST and CIFAR-10 datasets, we demonstrate the more powerful parameterizations and improved generalizability of stable $t$-NNs.

研究の動機と目的

• 数百万のパラメータを持つ深層ニューラルネットワークの高いストレージコストと計算コストに対処する。
• 完全結合層におけるパラメータ非効率性を、行列の代わりにテンソルを用いることで低減する。
• 行列に類似した代数的性質を備えた、テンソルベースのニューラルネットワークフレームワークを構築し、安定的で効率的な学習を実現する。
• 微分方程式の解釈にインspiredされた安定した順方向伝播メカニズムを通じて、モデルの一般化性能を向上させる。
• 標準的な画像分類ベンチマークにおけるテンソルベースのパラメータ化の有効性を実証する。

提案手法

• t-積代数を用いて、行列演算を模倣するテンソル演算を定義し、テンソルベースの線形変換を可能にする。
• 標準的な完全結合層 $ A_{j+1} = \sigma(W_j \cdot A_j + \vec{b}_j) $ を $ \mathcal{A}_{j+1} = \sigma(\mathcal{W}_j * \mathcal{A}_j + \vec{\mathcal{B}}_j) $ に置き換え、ここで $*$ はt-積を表す。
• 深層ネットワークを離散化された非線形微分方程式としての動的解釈に基づき、安定したt-NNフレームワークを構築する。
• 行列に類似した代数的構造を保つテンソル同士の積の族に、このフレームワークを一般化する。
• DFT行列を用いたフーリエドメインにおける微分を活用し、チューブ型ソフトマックス損失関数のためのバックプロパゲーションを実装する。
• MNISTおよびCIFAR-10データセットを用いて、t-NNアーキテクチャを画像分類タスクに適用し、性能とパラメータ効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 テンソルベースのパラメータ化は、性能を維持または向上させつつ、深層ニューラルネットワークのパラメータ数を削減できるか？
• RQ2 t-積代数は、多次元テンソルネットワークにおける行列に類似した演算をどのように可能にするか？
• RQ3 安定したt-NNフレームワークは、標準的な行列ベースのネットワークと比較して、一般化性能と学習速度を向上させるか？
• RQ4 テンソル同士の積の一般化は、計算効率を保ちながらt-積フレームワークをどの程度拡張できるか？
• RQ5 テンソルベースのアプローチは、従来の方法と比較して、画像データに内在する潜在的な多次元相関をより効果的に抽出できるか？

主な発見

• 安定したt-NNフレームワークは、標準的な行列ベースのネットワークと比較して、よりコンパクトで強力なパラメータ化により、高速な学習を達成する。
• t-NNアーキテクチャは、画像や動画などに内在する多次元相関を活用することで、パラメータ数を削減する。
• MNISTおよびCIFAR-10における数値実験では、t-NNは同等の行列ベースのモデルよりも一般化性能が優れており、より高いロバストネスを示している。
• t-積に基づくテンソル代数は、行列に類似した重要な性質を保持しており、行列ベースの深層学習技術をテンソル空間にスムーズに適応可能にする。
• フーリエドメインにおける微分を用いたチューブ型ソフトマックス損失関数のバックプロパゲーションは、t-積代数の行列に類似した性質を裏付けている。
• このフレームワークは、同じ代数的構造と計算的利点を保ちながら、テンソル同士の積の族に一般化可能である。