[論文レビュー] Learning Compressed Transforms with Low Displacement Rank

Anna Thomas, Albert Gu+3 more|PubMed|Oct 4, 2018

Sparse and Compressive Sensing Techniques参考文献 49被引用数 3

ひとこと要約

本稿では、両方の変位演算子と低ランク残差をデータから学習可能にする、低位階数ランク（LDR）行列の新しいクラスを導入する。これにより、従来の固定演算子LDR手法に比べてより高い表現力が得られる。本手法は、全結合層、畳み込み層、再帰層のすべてにおいて、最先端の圧縮性能と精度を達成しており、構造的ベースラインや一部のタスクでは非構造的全結合層でさえも上回っている。パラメータ数は20倍以上も削減されている。

ABSTRACT

The low displacement rank (LDR) framework for structured matrices represents a matrix through two displacement operators and a low-rank residual. Existing use of LDR matrices in deep learning has applied fixed displacement operators encoding forms of shift invariance akin to convolutions. We introduce a rich class of LDR matrices with more general displacement operators, and explicitly learn over both the operators and the low-rank component. This class generalizes several previous constructions while preserving compression and efficient computation. We prove bounds on the VC dimension of multi-layer neural networks with structured weight matrices and show empirically that our compact parameterization can reduce the sample complexity of learning. When replacing weight layers in fully-connected, convolutional, and recurrent neural networks for image classification and language modeling tasks, our new classes exceed the accuracy of existing compression approaches, and on some tasks even outperform general unstructured layers while using more than 20X fewer parameters.

研究の動機と目的

• 変位演算子が固定されたLDR行列の性能制限を克服し、変位構造のエンドツーエンド学習を可能にする。
• 高速な行列ベクトル積と圧縮を維持しながら、一般化性能を向上させるパラメータ効率の良い構造的行列クラスを構築する。
• LDR重み行列を備えたニューラルネットワークのサンプル複雑度を分析し、表現力が向上しても依然として効率的に学習可能であることを示す。
• 実験的に、学習可能なLDR行列が既存の構造的圧縮手法や非構造的層を上回る精度を達成し、顕著なパラメータ削減を実現することを示す。

提案手法

• 変位演算子が固定ではなく、訓練中に明示的に学習可能である新しいLDR行列クラスを提案する。これにより、より広範な構造的インダクティブバイアスを実現できる。
• クアasi線形時間計算量を達成する、効率的なPyTorch互換の行列ベクトル乗算アルゴリズムを開発する。これには、高速な構造的行列演算が活用されている。
• LDRフレームワークを用いて、2つのスパースな変位演算子と低ランク残差により行列を表現する。ここで演算子は学習可能なパラメータとなる。
• LDR構成を全結合層、畳み込み層、再帰層に適用し、標準的な重み行列の代わりに学習可能な構造的代替を導入する。
• LDR行列の合成性質（例：チャネル別にトーペリッツに似た行列が大きな構造的行列を形成する）を活用し、層間での効率性を維持する。
• パラメータ数をO(n²)からO(n)に削減するパrameterizationを採用することで、モデル容量を損なわずに高い圧縮を実現する。

実験結果

リサーチクエスチョン

• RQ1 LDR行列における変位演算子を学習可能とすることで、深層ニューラルネットワークにおいて固定演算子よりも優れた一般化性能と性能が達成可能か？
• RQ2 学習可能なLDR重み行列を備えたニューラルネットワークのサンプル複雑度は、非構造的および従来の構造的行列と比較してどうなるか？
• RQ3 学習可能なLDR行列は、既存の構造的圧縮手法や非構造的全結合層を上回る精度を達成しつつ、顕著なパラメータ削減を維持できるか？
• RQ4 LDR重み行列を備えたニューラルネットワークの理論的容量は何か？また、表現力が向上しても依然として学習可能であるか？
• RQ5 LDR行列は、畳み込み的または低ランクベースラインと比較して、複雑な非シフト不変のデータ構造をどの程度うまくモデル化できるか？

主な発見

• 画像分類タスクにおいて、提案手法の学習可能なLDR行列は、既存の構造的圧縮手法を上回り、MNIST-bg-rot や CIFAR-10 などの複数のベンチマークで非構造的全結合層よりも高い精度を達成した。
• 本手法は、標準的な全結合層と比較して、パラメータ数を20倍以上削減しながら、全結合層、畳み込み層、再帰層のすべてのアーキテクチャでテスト精度を維持または向上させた。
• Wikitext-2における言語モデリングのタスクでは、LDRベースのLSTMが顕著なパラメータ削減のもとで競争力ある性能を示し、逐次モデリングの有効性を裏付けた。
• 理論的分析により、LDR重み行列を備えたマルチレイヤーネットワークのVC次元はパラメータ数に対して準線形にスケーリングすることが示され、モデルクラスがデータから効率的に学習可能であることを示した。
• 実験的結果により、提案されたLDRパrameterizationを用いることで、非構造的重みと比較して学習のサンプル複雑度が低減することが確認され、一般化性能の向上を裏付けた。