[論文レビュー] Tensorized Spectrum Preserving Compression for Neural Networks.

Jiahao Su, Jingling Li+2 more|arXiv (Cornell University)|May 25, 2018

Tensor decomposition and applications被引用数 7

ひとこと要約

本稿では、高次テンソル分解を用いてモデル不変性と一般化を維持する、テンソル化されたスペクトル保存圧縮を提案する。新規のテンソル分解とデータ再構成に基づく学習を組み合わせることで、最先端のネットワークにおける畳み込み層および全結合層において、従来の手法を上回る圧縮性能を達成する。

ABSTRACT

Modern neural networks can have tens of millions of parameters, and are often ill-suited for smartphones or IoT devices. In this paper, we describe an efficient mechanism for compressing large networks by {\em tensorizing\/} network layers: i.e. mapping layers on to high-order matrices, for which we introduce new tensor decomposition methods. Compared to previous compression methods, some of which use tensor decomposition, our techniques preserve more of the networks invariance structure. Coupled with a new data reconstruction-based learning method, we show that tensorized compression outperforms existing techniques for both convolutional and fully-connected layers on state-of-the art networks.

研究の動機と目的

• スマートフォンやIoTシステムなどのリソース制約のあるデバイスに大規模なニューラルネットワークをデプロイする課題に対処すること。
• 従来のテンソル分解手法ではしばしば失われる、圧縮過程におけるニューラルネットワークの不変性構造を保持すること。
• 顕著なパラメータ削減を達成しながらも高いモデル精度を維持する新しい圧縮フレームワークを開発すること。
• 統一されたテンソルベースのアプローチを用いて、畳み込み層および全結合層の両方へ効果的な圧縮を拡張すること。

提案手法

• 高次テンソルへのニューラルネットワーク層のマッピングにより、テンソル分解を用いた構造的パラメータ削減を可能にする。
• 深層ネットワークにおけるスペクトル特性および不変性を保存することを目的とした、新規のテンソル分解手法を導入する。
• 圧縮モデルの微調整と予測性能の維持を図るために、データ再構成に基づく学習戦略を採用する。
• 統一されたテンソル化アプローチを用いて、畳み込み層および全結合層の両方へ圧縮フレームワークを適用する。
• 情報損失を最小限に抑えつつ圧縮効率を最大化するように、分解プロセスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解を用いることで、ニューラルネットワークの不変性およびスペクトル構造を保持しつつ圧縮することは可能か？
• RQ2 畳み込み層および全結合層の両方において、テンソル化圧縮は従来の手法と比較して、精度およびパラメータ削減の観点で優れているか？
• RQ3 データ再構成に基づく学習戦略は、圧縮モデルの性能向上にどの程度寄与するか？
• RQ4 提案手法は、多様な最先端のネットワークアーキテクチャにわたり、効果的な圧縮を達成できるか？

主な発見

• 提案されたテンソル化圧縮手法は、畳み込み層および全結合層の両方において、従来の技術を上回るモデル精度の保持を達成する。
• この手法は、元のネットワークの不変性構造を維持しており、より良い一般化性能およびロバストネスに寄与する。
• 高次テンソル分解を活用することで、顕著なパラメータ削減が達成されつつも、精度の著しい低下は生じない。
• データ再構成に基づく学習手法は、圧縮モデルの微調整を効果的に行い、下流タスクにおける性能向上を実現する。