[論文レビュー] Model Preserving Compression for Neural Networks

Jerry Chee, Megan Renz+2 more|arXiv (Cornell University)|Jul 30, 2021

Seismic Imaging and Inversion Techniques被引用数 4

ひとこと要約

この論文は、中間活性化のプルーニングと補正を同時に実行することで、微調整を必要とせず、元のモデルの例ごとの意思決定と構造を保持するモデル保存型圧縮手法を提案する。この手法は、CIFAR-10で元のモデルと97.3%の予測相関を達成し、ImageNetでも競争力ある精度を維持する。また、自動的なレイヤーごとの圧縮サイズ設定と理論的分析を可能にする。

ABSTRACT

After training complex deep learning models, a common task is to compress the model to reduce compute and storage demands. When compressing, it is desirable to preserve the original model's per-example decisions (e.g., to go beyond top-1 accuracy or preserve robustness), maintain the network's structure, automatically determine per-layer compression levels, and eliminate the need for fine tuning. No existing compression methods simultaneously satisfy these criteria $\unicode{x2014}$ we introduce a principled approach that does by leveraging interpolative decompositions. Our approach simultaneously selects and eliminates channels (analogously, neurons), then constructs an interpolation matrix that propagates a correction into the next layer, preserving the network's structure. Consequently, our method achieves good performance even without fine tuning and admits theoretical analysis. Our theoretical generalization bound for a one layer network lends itself naturally to a heuristic that allows our method to automatically choose per-layer sizes for deep networks. We demonstrate the efficacy of our approach with strong empirical performance on a variety of tasks, models, and datasets $\unicode{x2014}$ from simple one-hidden-layer networks to deep networks on ImageNet.

研究の動機と目的

• 微調整を必要とせず、例ごとの意思決定とネットワーク構造を保持する圧縮手法を開発すること。
• 圧縮後に高いモデル忠実度を維持する中で、微調整の必要性を排除すること。
• 補間分解（ID）を用いた解釈可能な補正メカニズムを備えた、理論的根拠に基づいたチャネルプルーニング手法を提供すること。
• 既存のMLパイプラインとの互換性とクラス間の公平性を確保することで、圧縮モデルの実用的導入を可能にすること。
• 元の動作の保持を評価するための予測相関に基づく新しいモデル類似度測定指標を導入すること。

提案手法

• プルーニングされたチャネルを保持されたチャネルの線形結合として表現する補間分解（ID）を用い、層間での補正伝搬を可能にする。
• 活性化出力にIDを適用することで、同時にチャネル選択と削除を実行し、削除されたニューロンの影響を補正するように残りの重みを更新する。
• プルーニングされたチャネルの情報を次層に統合する補間行列を構築し、層サイズを削減しつつネットワーク構造を保持する。
• ラベル付きデータや微調整に依存せず、無ラベルデータを用いてID近似を計算する。
• 1層ネットワークに対する一般化誤差の理論的境界を導出し、自動的なレイヤーごとの圧縮サイズ選択のヒューリスティックを提供する。
• 圧縮後の元のモデル意思決定の保持を定量的に評価するための予測相関指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 微調整を必要とせず、意思決定を保持することで、堅牢性と公平性を確保できる圧縮手法は可能か？
• RQ2 補間分解（ID）をどのように活用することで、深層ネットワークにおけるチャネルの同時にプルーニングと補正が可能になるか？
• RQ3 一般化誤差に関する理論的境界は、深層アーキテクチャにおける自動的なレイヤーごとの圧縮サイズ設定にどのように寄与できるか？
• RQ4 微調整済みベースラインと比較して、この手法の予測相関と精度はどの程度の性能を示すか？
• RQ5 特に公平性と一般化性に影響を及ぼす可能性があるが、プルーニングセットに欠落したデータクラスが存在しても、この手法は頑健か？

主な発見

• 提案手法は、FLOPsを50%に圧縮した後も、CIFAR-10で元のモデルと97.3%の予測相関を達成し、微調整済みベースライン（93.2%相関）を著しく上回る。
• ImageNetでは、10kのプルーニングセットを用いても、微調整前の精度68.06%を維持し、プルーニングセットサイズの変化に対してほとんど感受性を示さない。
• プルーニングセットから1クラスを除外しても、クラスごとの精度を保持しており、未表記クラスに対しても妥当な性能（例：CIFAR-10で欠落クラスで85.2%の精度）を示す。
• 1層ネットワークに対する理論的解析は、IDベースの補正の有効性を裏付け、自動的なレイヤーごとの圧縮サイズ選択のヒューリスティックを可能にする。
• ID計算に1,000件のデータポイントと最小限の実行時間で十分であり、微調整に比べて圧縮コストは無視できるほど小さい。
• 構造の保持により、他の圧縮技術と組み合わせ可能であり、実用的パイプラインにおける合成性（composability）を実現する。