[論文レビュー] Exploring Extreme Parameter Compression for Pre-trained Language Models

Yu‐Xin Ren, Benyou Wang+3 more|arXiv (Cornell University)|May 20, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿では、事前学習言語モデルの極端なパrameter圧縮のためのTuckerテンソル分解に基づく手法を提案する。この手法により、BERTのTransformer層において最大48倍のパrameter削減が達成され、性能の低下は最小限に抑えられる。本手法は効率的な再構成プロトコルと知識蒸留を用い、埋め込みを除く200万パラメータでBERT-baseの96.7%の性能を維持するとともに、推論速度が2.7倍速くなる。

ABSTRACT

Recent work explored the potential of large-scale Transformer-based pre-trained models, especially Pre-trained Language Models (PLMs) in natural language processing. This raises many concerns from various perspectives, e.g., financial costs and carbon emissions. Compressing PLMs like BERT with negligible performance loss for faster inference and cheaper deployment has attracted much attention. In this work, we aim to explore larger compression ratios for PLMs, among which tensor decomposition is a potential but under-investigated one. Two decomposition and reconstruction protocols are further proposed to improve the effectiveness and efficiency during compression. Our compressed BERT with ${1}/{7}$ parameters in Transformer layers performs on-par with, sometimes slightly better than the original BERT in GLUE benchmark. A tiny version achieves $96.7\%$ performance of BERT-base with $ {1}/{48} $ encoder parameters (i.e., less than 2M parameters excluding the embedding layer) and $2.7 imes$ faster on inference. To show that the proposed method is orthogonal to existing compression methods like knowledge distillation, we also explore the benefit of the proposed method on a distilled BERT.

研究の動機と目的

• 事前学習言語モデル（PLM）における極端なパラメータ圧縮比の探索、特に従来の手法を超える圧縮比の実現を目的とする。
• BERTのような大規模PLMの高い計算コストとデプロイコストの課題に対処することを目的とする。
• 特にTucker分解を含むテンソル分解が、PLMの圧縮手法として実用的かつ効率的であるかを検討することを目的とする。
• 推論のオーバーヘッドを低減しつつモデルの精度を維持するための効率的な再構成プロトコルの開発を目的とする。
• TinyBERTのような蒸留済みモデルに本手法を適用することで、知識蒸留との直交性を実証することを目的とする。

提案手法

• PLMにおける行列およびテンソル分解の分析のための形式的フレームワークを提案し、行列内および行列間の冗長性を区別する。
• 共有されたUおよびV行列とコアテンソルCを用いて、アテンションおよびフィードフォワードネットワークの重み行列にTucker分解（IV）を適用する。
• 推論時の追加計算を最小限に抑えるために、再配置に基づく再構成プロトコルを導入し、モデル出力を保持する。
• 低ランク分解に起因する近似誤差を軽減するために、圧縮モデルの予測を元のモデルの出力と一致させる知識蒸留を用いる。
• Tucker分解における「マトリクスバンク」機構を採用し、層間でパラメータ数がほぼ一定に保たれるようにし、圧縮効率を向上させる。
• 本手法をBERTに適用し、TinyBERTのような蒸留済みモデルへも拡張することで、知識蒸留と相乗効果を発揮することを検証する。

実験結果

リサーチクエスチョン

• RQ1 Tucker分解は、行列分解やテンソルトレイン分解と比較して、PLMにおいて顕著に高い圧縮比を達成できるか？
• RQ2 分解されたモデルにおける再構成オーバーヘッドをどのように最小化できるか？
• RQ3 アテンション層およびフィードフォワード層におけるパラメータの冗長性は、どの程度テンソル分解によって活用可能か？
• RQ4 本手法は、TinyBERTのような事前に蒸留済みのモデルに対しても有効に機能するか？
• RQ5 1/48という極めて高い圧縮比であっても、圧縮モデルは高い精度を維持できるか？

主な発見

• Transformer層のパラメータを元の1/7に圧縮したBERTモデルは、GLUEベンチマークにおいて元のBERTと同等の性能を達成する。
• エンコーダーのパラメータを元の1/48に圧縮した小さなBERTバージョン（埋め込みを除くと200万パラメータ未満）は、BERT-baseの96.7%の性能を維持する。
• 圧縮モデルは、元のBERTに比べて2.7倍高速な推論速度を達成する。
• 圧縮比とパラメータ効率の観点から、Tucker分解は行列分解およびテンソルトレイン分解を上回る性能を示す。
• 本手法は知識蒸留と直交的であり、TinyBERTに適用することで追加コストを最小限に抑えつつ性能が向上することを実証した。
• 因子ベクトルの分析から、重み行列間に層間で類似するパターンが存在することが判明し、学習済み表現の層間における構造的整合性が示唆された。