[論文レビュー] BiT: Robustly Binarized Multi-distilled Transformer

Zechun Liu, Barlas Oğuz+6 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 22

ひとこと要約

BiT は 弾性活性化と多蒸留を取り入れた完全に二値化されたトランスフォーマーモデルを示し、データ増強と強力な baselines で GLUE においてほぼ高精度を達成します。

ABSTRACT

Modern pre-trained transformers have rapidly advanced the state-of-the-art in machine learning, but have also grown in parameters and computational complexity, making them increasingly difficult to deploy in resource-constrained environments. Binarization of the weights and activations of the network can significantly alleviate these issues, however, is technically challenging from an optimization perspective. In this work, we identify a series of improvements that enables binary transformers at a much higher accuracy than what was possible previously. These include a two-set binarization scheme, a novel elastic binary activation function with learned parameters, and a method to quantize a network to its limit by successively distilling higher precision models into lower precision students. These approaches allow for the first time, fully binarized transformer models that are at a practical level of accuracy, approaching a full-precision BERT baseline on the GLUE language understanding benchmark within as little as 5.9%. Code and models are available at: https://github.com/facebookresearch/bit.

研究の動機と目的

• 資源制約下で高度に効率的なトランスフォーマーモデルの必要性を動機づける。
• トランスフォーマーの重みと活性化の二値化フレームワークを堅牢に開発する。
• 高精度から低精度へと順次訓練する多蒸留スケジュールを提案する。
• 弾性活性化の二値化が性能を顕著に向上させることを示す。
• BiT を GLUE と SQuAD で評価し、二値トランスフォーマーの最先端ベースラインを確立する。

提案手法

• Softmax/ReLU 後の活性化（非負）を他の活性化（符号混在）と分離した二セットの二値化スキームを導入する。
• 層ごとの活性化スケール因子を適用して二値化誤差を最小化する。
• 勾配の直伝搬推定機構を用いて学習可能なスケール α と閾値 β を持つ弾性二値化を提案する。
• 複雑な二段階蒸留を避け、L_logits と L_reps 損失を用いた単純化された知識蒸留を用いる。
• 量子化スケジュールに従って高精度の教師から二値の学生へと順次蒸留するマルチ蒸留戦略を採用する（例: W32A32 → W1A2 → W1A1）。
• GLUE と SQuAD で評価し、全精度の BERT および従来の二値化 effort に対して比較する。

実験結果

リサーチクエスチョン

• RQ1 Fully binarized transformer は GLUE と SQuAD のような NLP ベンチマークで実用的な精度を達成できるか？
• RQ2 2セット二値化と弾性二値化は binary transformers の最適化と最終性能を改善するか？
• RQ3 マルチ蒸留のカリキュラムは単一ステップ蒸留より Binary と全精度モデル間のギャップをより効果的に埋めるか？
• RQ4 GLUE のタスクで量子化されたトランスフォーマー性能に対するデータ増強の影響は？
• RQ5 BiT モデルで学習された活性化スケールは層間・構成要素（例: アテンション対フィードフォワード）でどのように分布するか？

主な発見

• BiT は完全に二値の重みと 1–2 ビットの活性化で競争力のある GLUE 結果を達成し、全精度ベースラインとの差を大幅に縮める。
• 弾性二値化は GLUE の平均精度を強力なベースラインに対して大幅に向上させ、破壊的なアブレーションで最大約 15.7% の改善を示す。
• マルチ蒸留は GLUE の性能をさらに向上させ、報告された設定で約 2.5 ポイントを追加。
• データ拡張を用いると、BiT は GLUE の平均ギャップを prior work の 15ポイント超から 5.9 ポイントまで縮小する。
• SQuAD では BiT は完全精度ベースラインには及ばないが、従来の二値法より意味のある改善を示す（例: BiT 63.1 EM / 74.9 F1 対 BERT base 82.6/89.7）。
• 学習された活性化スケーリング因子は層によって異なる。アテンション関連のスケールは小さめ、クエリ/キーのスケールは大きく、最大200倍の範囲が極端の間にある。」],
• table_headers: [],
• table_rows: []}
• table_headers: []
• table_rows: []}