[論文レビュー] Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition

Lucas Liebenwein, Alaa Maalouf+3 more|arXiv (Cornell University)|Jul 23, 2021

Sparse and Compressive Sensing Techniques被引用数 17

ひとこと要約

本稿では、Eckart–Young–Mirsky定理から導出された層別誤差境界を活用することで、各層の最適な圧縮比を自動的に決定する新規なグローバル圧縮フレームワークALDSを提案する。SVDに基づく低ランク分解を用い、複数の部分空間を通じて層全体の最大誤差を最小化する最適化により、ALDSはResNet18（ImageNet）で最大60%のパラメータ圧縮を達成し、従来の低ランク手法を著しく上回る性能を発揮する。

ABSTRACT

We present a novel global compression framework for deep neural networks that automatically analyzes each layer to identify the optimal per-layer compression ratio, while simultaneously achieving the desired overall compression. Our algorithm hinges on the idea of compressing each convolutional (or fully-connected) layer by slicing its channels into multiple groups and decomposing each group via low-rank decomposition. At the core of our algorithm is the derivation of layer-wise error bounds from the Eckart Young Mirsky theorem. We then leverage these bounds to frame the compression problem as an optimization problem where we wish to minimize the maximum compression error across layers and propose an efficient algorithm towards a solution. Our experiments indicate that our method outperforms existing low-rank compression approaches across a wide range of networks and data sets. We believe that our results open up new avenues for future research into the global performance-size trade-offs of modern neural networks. Our code is available at https://github.com/lucaslie/torchprune.

研究の動機と目的

• 低ランクニューラルネットワーク圧縮における、圧縮と精度のバランスを全層にわたって最適化するグローバルな課題に対処すること。
• 予測誤差を最小化するため、局所的な層分解とグローバルな圧縮比を統合的に最適化するフレームワークの開発。
• Eckart–Young–Mirsky定理を用いて、層別低ランク分解の理論的根拠を持つ誤差境界を導出すること。
• ヒューリスティック手法や固定比率戦略に依存せずに、自動的かつ効率的に各層の圧縮比を選択可能にする仕組みの構築。
• 複数の部分空間とクラスタリング手法が、圧縮性能と効率に与える影響の調査。

提案手法

• 本手法は、チャネルを部分空間にグループ化することで、畳み込み層または全結合層の各層に対してSVDに基づく低ランク分解を用いて圧縮を行う。
• 各層ごとに異なる数の部分空間（$k^\ell$）とランク（$j^\ell$）を許容する層別分解戦略を導入し、圧縮と誤差のトレードオフを最適化する。
• スペクトルノルムを用いてEckart–Young–Mirsky定理から誤差境界を導出し、各層の最大相対誤差を定量的に評価する。
• フレームワークは、全層における最大誤差を最小化する最適化問題として圧縮問題を定式化し、効率的なグローバル探索を可能にする。
• 全層の分解パラメータ（部分空間数とランク）を、グローバル誤差制約のもとで同時に最適化する反復的アルゴリズムを用いる。
• 本手法は、圧縮専用およびワンショット微調整の両方の設定をサポートしており、部品貢献度を検証するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク全体において、全層の最大誤差を最小化する最適な各層圧縮比は何か？
• RQ2 各層ごとに異なる数の部分空間を許容することで、低ランク圧縮における性能-サイズトレードオフにどのような影響を与えるか？
• RQ3 誤差に基づく圧縮比割り当ては、固定比率のヒューリスティック手法を上回る精度維持を達成できるか？
• RQ4 異なる部分空間クラスタリング手法（例：チャネルスライシング対 Projective Clustering）が、圧縮効率と精度に与える影響は何か？
• RQ5 標準的なSVD分解を超える探索空間の拡張により、どのような性能向上が達成可能か？

主な発見

• ALDSはResNet18（ImageNet）で最大60%のパラメータ圧縮を達成し、ベースライン手法の3倍以上にのぼり、精度の低下は最小限に抑えられる。
• アブレーションスタディにより、各層の変動する$k^\ell$が固定$k^\ell$よりも顕著に性能向上をもたらすことが確認され、適応的分解の重要性が示された。
• 誤差に基づくランク割り当て（ALDS-Error）は、全テスト設定において固定圧縮比ヒューリスティック（ALDS-Simple）を上回る性能を発揮した。
• チャネルスライシングに比べてプロジェクト型クラスタリング（Messi）は僅かな性能向上しか得られず、計算コストが高いため、効率性を重視する場合にはチャネルスライシングが好ましい。
• ALDS+は局所探索空間を複数の分解方式を含めるように拡張し、CIFAR10およびImageNetベンチマークの両方で顕著な性能向上を達成した。
• 本フレームワークは、特別なハードウェアやソフトウェア支援を必要とせず、効率的かつ理論的根拠に基づいた自動圧縮を可能にする。