[論文レビュー] Systematic Weight Pruning of DNNs using Alternating Direction Method of Multipliers

Tianyun Zhang, Shaokai Ye+3 more|arXiv (Cornell University)|Feb 15, 2018

Advanced Neural Network Applications参考文献 8被引用数 23

ひとこと要約

本論文は、各層の重みにカーディナリティ制約を課す制約付き非凸最適化問題を解くために、交替方向乗数法（ADMM）を用いた、深層ニューラルネットワーク（DNN）の体系的重みプルーニングフレームワークを提案する。この手法は、LeNet-5で最大40.2×の圧縮比を達成し、元のテスト精度を維持しながら、反復的微調整法よりも高速に収束する。モデルは再現性のため公開されている。

ABSTRACT

We present a systematic weight pruning framework of deep neural networks (DNNs) using the alternating direction method of multipliers (ADMM). We first formulate the weight pruning problem of DNNs as a constrained nonconvex optimization problem, and then adopt the ADMM framework for systematic weight pruning. We show that ADMM is highly suitable for weight pruning due to the computational efficiency it offers. We achieve a much higher compression ratio compared with prior work while maintaining the same test accuracy, together with a faster convergence rate. Our models are released at https://github.com/KaiqiZhang/admm-pruning

研究の動機と目的

• 理論的保証がなく、時間のかかる再訓練を要するヒューリスティックで反復的な重みプルーニング手法の限界を解消すること。
• DNNの重みプルーニングを、各層の重みに明示的なカーディナリティ制約を課す制約付き非凸最適化問題として定式化すること。
• ADMMの計算効率と収束特性を活用し、理論的根拠に基づいた体系的かつ高圧縮比のプルーニングを実現すること。
• 先行研究よりも高いモデル圧縮比を達成するとともに、テスト精度を維持すること。
• 研究コミュニティにおける再現性とベンチマークのため、訓練済みモデルを公開すること。

提案手法

• 各層の重みにカーディナリティ制約を課す条件下で損失関数を最小化する、DNN重みプルーニングの制約付き非凸最適化問題として定式化する。
• 補助変数と指示関数を用いて、スパースネス制約を表現することで、問題をADMM形式に再定式化する。
• ADMMを用い、勾配降下法による元の重みの最適化と、スパース可能な集合への重みの射影を交互に実行する。
• 射影ステップでは、絶対値が上位-l_i個の重みを除き、すべての他の重みをゼロに明示的に設定することで、直接的にスパースネスを強制する。
• スケーリングされた双対変数に対する勾配上昇更新を用い、元の変数と補助変数の間で一貫性を確保する。
• ADMMが収束した後、小さい絶対値の重みをプルーニングし、プルーニング後のネットワークを再訓練して精度を回復させる。

実験結果

リサーチクエスチョン

• RQ1 ADMMは、硬いスパースネス制約を課す構造的重みプルーニングに効果的に適用可能か？
• RQ2 ADMMベースのプルーニングは、ヒューリスティックで反復的なプルーニング手法よりも高い圧縮比を達成するが、テスト精度を維持できるか？
• RQ3 ADMMベースのプルーニングの収束速度は、反復的微調整に基づくプルーニングと比べてどうか？
• RQ4 ADMMプルーニングは、畳み込み層および全結合層における計算量とモデルサイズにどのような影響を与えるか？
• RQ5 ADMMベースのプルーニングは、さまざまなDNNアーキテクチャに体系的かつ一貫した性能向上をもたらすか？

主な発見

• ADMMベースのプルーニング手法は、LeNet-300-100ネットワークにおいて、精度損失なしに重み数を22.9倍に削減した。
• LeNet-5では、40.2×の圧縮比を達成し、Hanら（2015）が報告した12×の削減を著しく上回った。
• LeNet-5の畳み込み層では重み数を10倍に削減し、先行研究の8×削減を上回った。
• ADMMは約20イテレーションで収束し、合計計算時間は元のネットワークを2回訓練するのに相当した。
• 最終的なプルーニングモデルは、再訓練後、元のネットワークと同一のテスト精度を維持した。
• このフレームワークは、ヒューリスティックで反復的な手法よりも高速な収束性と高いスパースネスを実現する体系的かつ高圧縮比のプルーニングを可能にした。