[論文レビュー] Compressing Deep Neural Networks via Layer Fusion

James O’Neill, Greg Ver Steeg+1 more|arXiv (Cornell University)|Jul 29, 2020

Advanced Neural Network Applications参考文献 13被引用数 6

ひとこと要約

この論文は、重み行列の類似度をウォッシャーティン距離と共分散類似度指標を用いて整列させることで、深層ニューラルネットワーク内の類似した全結合層、畳み込み層、アテンション層を統合する構造的モデル圧縮技術であるレイヤーフュージョン（LF）を提案する。反復的微調整を施すと、CIFAR-10では最大3.33倍の圧縮が達成され、精度低下は2%未満であり、Transformerモデルは20%のサイズにまで圧縮され、WikiText-2では perplexity が5ポイントしか上昇しない。この手法は、追加パラメータを導入しないまま、非構造的プルーニングやマッチング知識蒸留法を上回る性能を発揮する。

ABSTRACT

This paper proposes extit{layer fusion} - a model compression technique that discovers which weights to combine and then fuses weights of similar fully-connected, convolutional and attention layers. Layer fusion can significantly reduce the number of layers of the original network with little additional computation overhead, while maintaining competitive performance. From experiments on CIFAR-10, we find that various deep convolution neural networks can remain within 2\% accuracy points of the original networks up to a compression ratio of 3.33 when iteratively retrained with layer fusion. For experiments on the WikiText-2 language modelling dataset where pretrained transformer models are used, we achieve compression that leads to a network that is 20\% of its original size while being within 5 perplexity points of the original network. We also find that other well-established compression techniques can achieve competitive performance when compared to their original networks given a sufficient number of retraining steps. Generally, we observe a clear inflection point in performance as the amount of compression increases, suggesting a bound on the amount of compression that can be achieved before an exponential degradation in performance.

研究の動機と目的

• プルーニングなどの非構造的圧縮手法によるスパースモデルの非効率性と計算オーバーヘッドを解消すること。
• 追加パラメータを導入せずに、ネットワーク効率を保ちながらモデルサイズを縮小する構造的かつ密な圧縮手法を開発すること。
• 特に深層畳み込みニューラルネットワークとTransformerにおいて、過パラメータ化されたネットワーク内の冗長なレイヤーを特定・統合し、競争力のある性能を維持すること。
• 微調整スケジュールと圧縮ステップの割り当てが、圧縮過程における性能低下に与える影響を調査すること。
• 性能の急激な低下を引き起こす圧縮のしきい値（性能の転換点）が存在するか、その位置を特定すること。

提案手法

• 個々の重みではなく、全結合層、畳み込み層、アテンション層といったレイヤー全体を統合する構造的圧縮手法としてレイヤーフュージョン（LF）を提案する。
• 候補となるレイヤー対の重み行列間の整列コストを計算するために、ウォッシャーティン距離を用いる。
• 複数の類似度基準（ユークリッド距離、KLダイバージェンス、ウォッシャーティン距離、共分散整列（CA））を用いて、レイヤー対の順位付けを行う。
• 重みを統合するための3つの統合戦略（レイヤー平均化（Mean）、レイヤー凍結（Freeze）、ランダムミキシング（-Mix））を適用する。
• 圧縮ステップを非一様に割り当てるための指数的カリキュラムスケジュールを実装し、初期段階で多く圧縮し、後続段階で多く微調整を行う。
• 各統合ステップ後に反復的にモデルを微調整することで、性能を回復させ、カリキュラムベースの圧縮戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 レイヤーフュージョンは、モデル精度を維持しながら、密な計算を保ったまま深層ニューラルネットワークを効果的に圧縮できるか？
• RQ2 類似度指標の選択（例：CA、WS、ED、KL）が、圧縮過程におけるレイヤーフュージョンの性能に与える影響は何か？
• RQ3 非一様な圧縮スケジュールを用いた反復的微調整は、一様な圧縮割り当てに比べて性能向上をもたらすか？
• RQ4 性能低下が指数関数的に増加する圧縮レートの閾値（転換点）は何か？ これはモデルやタスクによって異なるか？
• RQ5 プルーニング、テンソル分解、知識蒸留といった既存手法と比較して、レイヤーフュージョンは精度とモデルサイズの点でどのように優れているか？

主な発見

• CIFAR-10では、反復的微調整を施した場合、レイヤーフュージョンは圧縮比3.33まで、元のネットワークと2%以内の精度差に留める。
• WikiText-2の言語モデリングタスクでは、レイヤーフュージョンによりGPT-2およびTransformer-XLモデルを元のサイズの20%にまで圧縮し、perplexityはわずか5ポイント上昇する。
• 共分散整列（CA）は、他の類似度指標よりも一貫して優れた性能を示し、WikiText-2におけるTransXL-CAでは最小のperplexity（11.13）を達成する。
• すべてのモデルと圧縮手法において、性能の指数的転換点が観察され、あるしきい値を超えると、さらなる圧縮で急速に性能が低下する。
• 初期に多く圧縮し、後続で多く微調整するカリキュラムベースの圧縮スケジュールを用いた微調整は、一様な圧縮割り当てに比べて性能が向上する。
• 平均化またはミキシング戦略を用いたレイヤーフュージョンは、平均化戦略と同等の性能を示し、統合手法の選択に対して頑健であることが示された。