[論文レビュー] ProdSumNet: reducing model parameters in deep neural networks via product-of-sums matrix decompositions

Chai Wah Wu|arXiv (Cornell University)|Sep 6, 2018

Model Reduction and Neural Networks参考文献 23被引用数 15

ひとこと要約

ProdSumNet は、重み行列を単純で固定された行列の和の積として表現することにより、深層ニューラルネットワークのパラメータ数を削減する新しい行列分解フレームワークを提案する。これらの和のスカラーパrameterのみを学習することで、極めて少ないパラメータ数で高い精度を達成する。例えば、MNIST では 3,554 個の学習可能なパラメータで 98.44% の精度を達成し、300万以上ものパラメータを必要とする通常の CNN よりも 99.8% 以上も削減できる。この手法により、アーキテクチャに応じた柔軟で学習可能なパrameterのトレードオフが可能となる。

ABSTRACT

We consider a general framework for reducing the number of trainable model parameters in deep learning networks by decomposing linear operators as a product of sums of simpler linear operators. Recently proposed deep learning architectures such as CNN, KFC, Dilated CNN, etc. are all subsumed in this framework and we illustrate other types of neural network architectures within this framework. We show that good accuracy on MNIST and Fashion MNIST can be obtained using a relatively small number of trainable parameters. In addition, since implementation of the convolutional layer is resource-heavy, we consider an approach in the transform domain that obviates the need for convolutional layers. One of the advantages of this general framework over prior approaches is that the number of trainable parameters is not fixed and can be varied arbitrarily. In particular, we illustrate the tradeoff of varying the number of trainable variables and the corresponding error rate. As an example, by using this decomposition on a reference CNN architecture for MNIST with over 3x10^6 trainable parameters, we are able to obtain an accuracy of 98.44% using only 3554 trainable parameters.

研究の動機と目的

• 分類精度を損なわずに深層ニューラルネットワークの学習可能なパラメータ数を削減すること。
• 既存のパラメータ効率の良いアーキテクチャ（例：CNN や KFC）を、積和分解の特殊ケースとして統合する一般化可能なフレームワークを開発すること。
• 分解における和の項の数を変更することで、学習可能なパラメータ数を柔軟かつ動的に制御できることを実現すること。
• 画像分類ベンチマーク（例：MNIST や Fashion MNIST）において、高い性能を維持したままモデルの複雑さを顕著に低減できることを示すこと。
• この分解フレームワークを用いて、計算コストの高い畳み込み層を効率的な変換ドメイン実装に置き換える可能性を検討すること。

提案手法

• 重み行列 $ W $ を和の積として表現する：$ W = \prod_{j=1}^{p} \sum_{k=1}^{s_j} a_{jk} M_{jk} $、ここで $ a_{jk} $ は学習可能なパラメータ、$ M_{jk} $ は固定行列である。
• 線形活性化関数 $ g_{jk}(x) = x $ を用いることで分解を簡素化し、スカラーパrameter $ a_{jk} $ の微分可能学習を可能にする。
• 全結合層および畳み込み層にこの分解を適用し、標準的な全結合層や畳み込み層の代わりにパラメータ効率の良い代替手法を導入する。
• 変換ドメイン（例：FFT やその他の変換）で分解を実装することで、高価な畳み込み演算を回避する。
• 反復的精錬を適用：$ s_j $ を段階的に増加させながら訓練を行い、高次の段階のパラメータを低次の段階の結果の最小二乗近似で初期化する。
• ストレージおよび計算コストを削減するため、$ M_{jk} $ に低ランクまたは構造的行列（例：巡回行列、トーペリッツ行列）を活用する。

実験結果

リサーチクエスチョン

• RQ1 積和行列分解が、高い精度を維持したまま深層ニューラルネットワークの学習可能なパラメータ数を効果的に削減できるか。
• RQ2 分解における学習可能なパラメータ数が、画像分類タスクにおける最終的なテスト誤差およびモデル性能に与える影響はいかほどか。
• RQ3 このフレームワークは CNN や KFC を超えて、一般化できる程度に広範に適用可能か。また、任意のニューラルネットワーク層に適用可能か。
• RQ4 構造的で固定された行列 $ M_{jk} $ を用い、スカラーパラメータ $ a_{jk} $ のみを学習することで、顕著に少ないパラメータ数で高い精度を達成できるか。
• RQ5 MNIST と Fashion MNIST のような異なるデータセットにおいて、この分解の性能はどのように変化するか。特に、データの内在的複雑さの違いに起因する影響を評価する。

主な発見

• ProdSumNet は、MNIST でわずか 3,554 個の学習可能なパラメータで 98.44% のテスト精度を達成し、標準的な CNN（約 320万パラメータ）と比較して 99.8% 以上の削減を実現した。
• モデルの複雑さと精度の間の柔軟なトレードオフが実現されており、学習可能なパラメータ数を減少させても性能が徐々に低下する傾向を示した。
• Fashion MNIST は MNIST よりも同程度の精度を達成するためのパラメータ数を多く必要としており、データに内在する複雑さが高く、自由度の高い特徴を有していることを示唆している。
• この分解フレームワークは、CNN や KFC といった既知のアーキテクチャを特殊ケースとしてうまく統合しており、広範な適用可能性を示している。
• 畳み込み層をこの分解フレームワークを用いた変換ドメイン実装に置き換えることで、計算コストが低減され、高価な畳み込み演算を回避できた。
• $ M_{jk} $ に構造的行列（例：巡回行列、低ランク行列）を用いることで、効率的なストレージおよび計算が可能となり、実装に向けた実用性が確保された。