[論文レビュー] Scaling Up Exact Neural Network Compression by ReLU Stability

Thiago Serra, Yu, Xin+2 more|arXiv (Cornell University)|Feb 15, 2021

Neural Networks and Applications参考文献 92被引用数 4

ひとこと要約

本稿では、入力ドメイン全体にわたり安定した（線形の）動作を示すReLUニューロンを特定するための1つの混合整数線形計画問題（MILP）を解くことで、正確なニューラルネットワーク圧縮を高速化する新規手法ISA（Identifying Stable Activations）を提案する。この手法は、CIFAR-10上で先行研究の最良手法と比較して中央値で183倍の高速化を達成し、深さ5×100および幅2×800のネットワークに対しても正確な圧縮を可能にした。ℓ1正則化下でも精度を維持したまま、接続の最大56％を削除可能である。

ABSTRACT

We can compress a rectifier network while exactly preserving its underlying functionality with respect to a given input domain if some of its neurons are stable. However, current approaches to determine the stability of neurons with Rectified Linear Unit (ReLU) activations require solving or finding a good approximation to multiple discrete optimization problems. In this work, we introduce an algorithm based on solving a single optimization problem to identify all stable neurons. Our approach is on median 183 times faster than the state-of-art method on CIFAR-10, which allows us to explore exact compression on deeper (5 x 100) and wider (2 x 800) networks within minutes. For classifiers trained under an amount of L1 regularization that does not worsen accuracy, we can remove up to 56% of the connections on the CIFAR-10 dataset. The code is available at the following link, https://github.com/yuxwind/ExactCompression.

研究の動機と目的

• 正確なニューラルネットワーク圧縮におけるスケーラビリティのボトル neck を解消するため、すべての入力に対して各ReLUニューロンの安定性を検証する必要があるという課題に取り組む。
• 出力が常に0または事前活性化値となる線形動作を示す安定ニューロンの特定にかかる計算コストを低減する。
• CIFAR-10 や MNIST などのデータセット上で、深さ（例：5×100）および幅（例：2×800）の大きなネットワークに対しても実用的な正確な圧縮を可能にする。
• GPUを活用した前処理ステップを導入し、非安定ニューロンを早期にフィルタリングすることで、全体の効率性を向上させる。
• 1回の層単位の圧縮を実行する（ニューロン単位ではなく）ことでスケーラビリティを向上させる、新しい圧縮アルゴリズムLEO++を提案・検証する。

提案手法

• フィードフォワードネットワーク内のすべてのReLUニューロンの安定性検証を、1つの混合整数線形計画問題（MILP）として定式化するISA手法を提案する。
• GPUベースの前処理ステップを活用し、トレーニングセットに対して安定でないニューロンを特定することで、MILP検証が必要なニューロン数を削減する。
• 1回の層単位の圧縮で損失なしに圧縮を実行するLEO++という新しい圧縮アルゴリズムを導入し、ニューロン単位のMILP解法を回避する。
• 入力ドメイン制約（データ正規化およびバッチ正規化層を含む）を扱うために、MILP定式化を入力の境界を適切に調整することで拡張する。
• 事前活性化出力とReLUの挙動を用いて、ニューロン出力が0または入力に対して線形となる線形領域を定義し、ドメイン制約下での正確な等価性を可能にする。
• ハイブリッド戦略を採用：前処理で非安定ニューロンを除外し、残りの候補に対してMILPを適用して安定性を検証する。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワードネットワーク内のすべてのReLUニューロンの安定性検証を、1つのMILP定式化で行うことは可能か？（ニューロンごとに別々にMILPを解くのではなく）
• RQ2 特に深さや幅の大きなネットワークにおいて、1つのMILPを解くことで、複数のMILPを解く場合と比較してどれほど高速化できるか？
• RQ3 この手法を用いて、深さ（例：5×100）および幅（例：2×800）の大きなネットワークへの正確な圧縮をどの程度スケーラブルに実現できるか？
• RQ4 GPUベースの前処理ステップは、MILP検証が必要なニューロン数をどの程度削減できるか？
• RQ5 LEO++は、ニューロン単位のMILP検証と比較して、はるかに低い計算コストで同等の圧縮を達成できるか？

主な発見

• 提案されたISAアルゴリズムは、CIFAR-10データセット上で、先行研究の最良手法と比較して中央値で183倍の高速化を達成した。特に大きなネットワークではさらに顕著な向上が見られた。
• CIFAR-10では、2×800ネットワークの正確な圧縮が数分で可能となり、ℓ1正則化下でも精度を維持したまま、接続の最大56％を削除可能であった。
• ℓ1正則化で精度が低下しない2×100のMNIST分類器では、約20％のニューロンと40％の接続を正確に削除可能であった。
• GPUによる前処理ステップだけでも、非安定ニューロンをMILP解法の前段階でフィルタリングすることで、中央値で3.2倍の高速化が達成された。
• LEO++は、安定ニューロンごとに1回ずつMILPを解くのではなく、1層あたり1回のMILP解法にすることで、大幅にスケーラビリティを向上させ、深さ・幅の大きなネットワークの実用的圧縮を可能にした。
• LeNetベースのCIFAR-10モデルでは、安定して非活性なニューロンの最大11.86％を0にマスクしても精度に影響がなく、さらなる損失ありスパース化と併用可能であった。