[論文レビュー] BiBERT: Accurate Fully Binarized BERT

Haotong Qin, Yifu Ding+6 more|arXiv (Cornell University)|Mar 12, 2022

Multimodal Machine Learning Applications被引用数 34

ひとこと要約

BiBERTはBi-AttentionとDirection-Matching Distillationを導入し、GLUEで従来の超低ビット量子化BERTを上回りつつ、重大なFLOPsとモデルサイズの削減を実現する正確な完全に二値化されたBERT（1-bit weights, embeddings, and activations）を可能にする。

ABSTRACT

The large pre-trained BERT has achieved remarkable performance on Natural Language Processing (NLP) tasks but is also computation and memory expensive. As one of the powerful compression approaches, binarization extremely reduces the computation and memory consumption by utilizing 1-bit parameters and bitwise operations. Unfortunately, the full binarization of BERT (i.e., 1-bit weight, embedding, and activation) usually suffer a significant performance drop, and there is rare study addressing this problem. In this paper, with the theoretical justification and empirical analysis, we identify that the severe performance drop can be mainly attributed to the information degradation and optimization direction mismatch respectively in the forward and backward propagation, and propose BiBERT, an accurate fully binarized BERT, to eliminate the performance bottlenecks. Specifically, BiBERT introduces an efficient Bi-Attention structure for maximizing representation information statistically and a Direction-Matching Distillation (DMD) scheme to optimize the full binarized BERT accurately. Extensive experiments show that BiBERT outperforms both the straightforward baseline and existing state-of-the-art quantized BERTs with ultra-low bit activations by convincing margins on the NLP benchmark. As the first fully binarized BERT, our method yields impressive 56.3 times and 31.2 times saving on FLOPs and model size, demonstrating the vast advantages and potential of the fully binarized BERT model in real-world resource-constrained scenarios.

研究の動機と目的

• Weights, embeddings, and activationsを1-bitでエンドツーエンドに二値化する際の性能ギャップを動機づけて対処する。
• 注意機構における情報の低下と蒸留中の最適化方向の不一致を主要なボトルネックとして特定する。
• Bi-Attentionを提案し、二値化注意における情報エントロピーを最大化し、Direction-Matching Distillation (DMD)を提案して最適化方向を整合させる。
• BiBERTがGLUEベンチマークで超低ビット幅の最先端量子化BERTを上回り、FLOPsとサイズの大幅な削減を実現することを示す。

提案手法

• 完全に二値化されたBERTのベースラインを定義し、順伝播時のボトルネック（注意情報の喪失）と逆伝播時のボトルネック（蒸留方向）を分析する。
• Bi-Attention: エントロピー最大化の二値化表現とsoftmaxベースの注意を置換するbitwise AFFINE matrix multiplication (BAMM)演算子を用いて、二値化注意における情報エントロピーを最大化する。
• Direction-Matching Distillation (DMD): 蒸留された活性化（Q, K, V）を再選択し、類似性パターン行列P_Q, P_K, P_Vを構築して蒸留を導く。最適化方向の整合性を改善する。
• 理論的正当化（情報理論と方向不一致分析）を、GLUEタスクでの経験的アブレーションと共に提供する。

実験結果

リサーチクエスチョン

• RQ1 Fully binarized BERT（重み、埋め込み、活性化を1-bitとする）で競争力のあるNLP性能を達成できるか。
• RQ2 二値化時の順伝播と逆伝播の主なボトルネックは何か、どのように緩和できるか。
• RQ3 Bi-AttentionとDirection-Matching DistillationはGLUEベンチマークで性能を改善し、効率性を維持できるか。
• RQ4 BiBERTはaccuracyとリソース使用の点で最先端の超低ビット量子化BERTモデルとどのように比較されるか。

主な発見

• BiBERTはGLUEタスクでベースラインの完全に二値化されたBERTおよび既存の超低ビット量子化BERTを上回る。
• Bi-Attentionは二値化注意における情報劣化を大幅に緩和し、softmaxを排除して表現エントロピーを向上させる。
• DMDは蒸留を上流のQ/K/Vおよび類似性パターン行列へ再配向することで最適化方向の不一致を低減し、収束を改善する。
• BiBERTはfull-precision BERTと比較して最大で56.3×のFLOPsと31.2×のモデルサイズ削減という大幅な効率化を達成する。
• データ拡張なしのGLUEでは複数タスクでいくつかのベースラインを上回り、競合的な性能を達成しており、拡張を用いた場合 SST-2でほぼ全精度に近づく。