[論文レビュー] Theoretical Properties for Neural Networks with Weight Matrices of Low Displacement Rank

Liang Zhao, Siyu Liao+5 more|arXiv (Cornell University)|Mar 1, 2017

Neural Networks and Applications被引用数 41

ひとこと要約

この論文は、低位移ランク（LDR）行列を有するニューラルネットワークの理論的基盤を確立し、普遍近似性を証明するとともに、構造化されていないネットワークと同等の誤差バインディングを達成することを示している。LDRネットワークのためのバックプロパゲーションアルゴリズムを導入し、構造化された行列がモデルサイズと計算時間の顕著な削減を実現しながらも、精度を維持できることを示している。

ABSTRACT

Recently low displacement rank (LDR) matrices, or so-called structured matrices, have been proposed to compress large-scale neural networks. Empirical results have shown that neural networks with weight matrices of LDR matrices, referred as LDR neural networks, can achieve significant reduction in space and computational complexity while retaining high accuracy. We formally study LDR matrices in deep learning. First, we prove the universal approximation property of LDR neural networks with a mild condition on the displacement operators. We then show that the error bounds of LDR neural networks are as efficient as general neural networks with both single-layer and multiple-layer structure. Finally, we propose back-propagation based training algorithm for general LDR neural networks.

研究の動機と目的

• 低位移ランク（LDR）ニューラルネットワークの理論的基盤を確立すること。これは実務的に有効であるが、形式的根拠に欠けている。
• LDRニューラルネットワークが、十分な容量があれば任意の連続関数を任意の精度で近似できることを証明し、圧縮によって表現力が損なわれないことを保証すること。
• LDRネットワークの誤差バインディングを、一般の非構造化ニューラルネットワークと分析・比較すること。
• 一般LDRニューラルネットワークに特化したバックプロパゲーション訓練アルゴリズムを開発し、再訓練を伴わずにエンドツーエンドの学習を可能にすること。
• LDR行列が、モデル効果性を損なわず、ストレージ（O(n) 対 O(n²)）および計算（O(n log n) 対 O(n²)）においてBig-Oの複雑度削減を達成できることを示すこと。

提案手法

• 位移作用素に関する弱い条件の下で、LDRニューラルネットワークの普遍近似性に関する理論的分析。
• LDRネットワークの誤差バインディングの導出。単層および深層アーキテクチャの両方において、一般ニューラルネットワークと同等以上に効率的であることを示している。
• 重み行列を構造化された行列（例：A_i, B_i, G_i, H_i）の積として表現し、行列の位移ランク特性を活用することで、LDRネットワークのためのバックプロパゲーションアルゴリズムを設計した。
• 高速行列-ベクトル乗算アルゴリズム（例：トーペリッツ行列や巡回行列に対してはFFT）を用いて、計算複雑度をO(n²)からO(n log n)に低減した。
• 位移作用素を用いたLDR重み行列のパrameterization。O(n²)ではなくO(n)のパラメータで行列を表現することで、効率的なストレージと計算を可能にした。
• チェーンルールを用いた勾配の導出。勾配計算を構造化されたコンponents（G_i, H_i, A_i, B_i）に分解することで、計算効率を維持した。

実験結果

リサーチクエスチョン

• RQ1 十分な容量があれば、LDRニューラルネットワークは任意の連続関数を任意の精度で近似可能か？
• RQ2 LDRネットワークの一般化誤差バインディングは、標準的な非構造化ニューラルネットワークと比べてどうなるか？
• RQ3 計算効率を損なわず、LDRニューラルネットワークのための効率的なバックプロパゲーションアルゴリズムを設計可能か？
• RQ4 LDR行列は、モデルの正確性を損なわず、ストレージおよび計算の両方でBig-Oの複雑度削減を達成可能か？
• RQ5 構造化された重み行列の制約下で、LDRネットワークの表現力に関する理論的保証は何か？

主な発見

• LDRニューラルネットワークは、位移作用素に関する弱い条件下で普遍近似性を満たし、任意の連続関数を任意の精度で近似可能であることを証明した。
• LDRネットワークの誤差バインディングは、単層および深層アーキテクチャの両方において、一般の非構造化ニューラルネットワークと同等以上に効率的である。
• 重み行列を構造化されたコンponents（A_i, B_i, G_i, H_i）に分解することで、LDRネットワークのためのバックプロパゲーションアルゴリズムが開発され、効率的な勾配計算が可能になった。
• ストレージ複雑度はO(n²)からO(n)に、計算複雑度はO(n²)からO(n log n)またはO(n log² n)に低減された。これは高速行列-ベクトル乗算アルゴリズムの活用によるものである。
• トーペリッツ行列や巡回行列などの特定の構造化行列では、パラメータ数がO(2n)に削減され、FFTを用いた高速化により行列-ベクトル乗算がO(n log n)の複雑度で実行可能となった。
• 理論的分析により、LDRネットワークが顕著な圧縮を行っても高い精度を維持することが確認され、メモリおよびエネルギー制限のある環境での利用が裏付けられた。