[論文レビュー] Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior

Zi Lin, Jeremiah Zhe Liu+3 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、関数ノルムのしきい値処理を通じて、アテンションヘッド、フィードフォワードネットワーク、または完全なレイヤーといった、Transformerモデル内の完全な残差モジュールを対象とする構造的プルーニング手法「スペクトル正規化アイデンティティプライア（SNIP）」を提案する。スペクトル正規化を組み合わせることで、活性化分布を安定化させ、50%のモデル圧縮率において最先端の性能を達成し、GLUEタスク全体で平均して0.5–1.0%の精度向上を実現した。

ABSTRACT

Traditional (unstructured) pruning methods for a Transformer model focus on regularizing the individual weights by penalizing them toward zero. In this work, we explore spectral-normalized identity priors (SNIP), a structured pruning approach that penalizes an entire residual module in a Transformer model toward an identity mapping. Our method identifies and discards unimportant non-linear mappings in the residual connections by applying a thresholding operator on the function norm. It is applicable to any structured module, including a single attention head, an entire attention block, or a feed-forward subnetwork. Furthermore, we introduce spectral normalization to stabilize the distribution of the post-activation values of the Transformer layers, further improving the pruning effectiveness of the proposed methodology. We conduct experiments with BERT on 5 GLUE benchmark tasks to demonstrate that SNIP achieves effective pruning results while maintaining comparable performance. Specifically, we improve the performance over the state-of-the-art by 0.5 to 1.0% on average at 50% compression ratio.

研究の動機と目的

• パラメータ削減にもかかわらず推論遅延を低減できない、非構造的かつ重みレベルのプルーニングの限界を解消すること。
• アテンションヘッドやフィードフォワードサブネットワークなどのモジュールレベルでの構造的プルーニングを検討し、モデルアーキテクチャを変更して効率を向上させること。
• スペクトル正規化による活性化分布の安定化を通じて、プルーニングの効果を高めること。
• アイデンティティ誘導プライアを用いた構造的プルーニングが、従来の手法よりも優れた性能-圧縮トレードオフを達成できることを示すこと。

提案手法

• 非線形成分が不重要であることを特定するために、残差マッピングの関数ノルムにしきい値処理を適用する。
• アテンションヘッドやFFNレイヤーなどのサブモジュール全体が恒等写像として振る舞うように正則化するアイデンティティ誘導プライアを導入する。
• 各モジュールの重み行列にスペクトル正規化を適用し、最大特異値を制御することで、活性化分布の安定化を図る。
• 微調整中に繰り返し適用することで、連続的な圧縮曲線と柔軟なアーキテクチャ選択を可能にする。
• 単一のアテンションヘッド、複数ヘッドのアテンション、フィードフォワードネットワーク、または完全なレイヤーといった、複数のプルーニング粒度をサポートする。
• 固定圧縮比での性能を測定するために、5つのGLUEタスクでBERTに対して評価する。

実験結果

リサーチクエスチョン

• RQ1 Transformerにおける完全な残差モジュールの構造的プルーニングは、非構造的重みプルーニングよりも優れた性能-圧縮トレードオフを達成できるか？
• RQ2 残差マッピングにアイデンティティ誘導プライアを課すことで、プルーニング中のモデルの頑健性と一般化性能が向上するか？
• RQ3 スペクトル正規化は、深層Transformerモデルにおける構造的プルーニングの安定性と有効性をどのように向上させるか？
• RQ4 単一ヘッド、複数ヘッドのアテンション、FFN、または完全なレイヤーといった、異なるプルーニング粒度は最終的な性能にどの程度影響を与えるか？
• RQ5 残りのプルーニングされたコンponentsはタスク固有である可能性があり、その柔軟性が圧縮効率を向上させるか？

主な発見

• SNIPは50%のモデル圧縮率において、5つのGLUEベンチマークタスク全体で平均して0.5～1.0%の精度向上を達成し、最先端の性能を実現した。
• アテンションとフィードフォワードサブネットワークを別々にプルーニングすると、完全なレイヤーや単一ヘッドをプルーニングするのよりも優れた性能が得られ、タスク固有の構造的冗長性が示された。
• 事前学習段階でよりスパースで制御されたレイヤーマッピングが得られ、多様なNLPタスク全体で一貫した性能向上が確認された。
• スペクトル正規化は活性化分布の安定性を顕著に向上させ、プルーニングの有効性とモデルの一般化性能を高めた。
• モジュールレベル（例：個々のアテンションヘッドやFFNレイヤー）でのプルーニングは、重みレベルのプルーニングよりも優れた推論効率とより柔軟なアーキテクチャ設計を実現した。
• 残りのプルーニングされたコンponentsはタスクごとに異なることが示され、最適なアーキテクチャはタスク依存であり、構造的プルーニングによって同定可能であることが示唆された。