[論文レビュー] Accelerating Pre-trained Language Models via Calibrated Cascade.

Lei Li, Yankai Lin+6 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 15被引用数 8

ひとこと要約

本稿では、入力の難易度に応じて段階的に大きなモデルを動的に選択するキャリブレートされたカスケード手法であるCascadeBERTを提案する。この手法により、事前学習済み言語モデルの推論速度が向上し、予測の信頼性が向上する。実験の結果、動的早期終了や知識蒸留のベースラインと比較して、速度と精度のトレードオフにおいて優れた性能を示した。

ABSTRACT

Dynamic early exiting aims to accelerate pre-trained language models' (PLMs) inference by exiting in shallow layer without passing through the entire model. In this paper, we analyze the working mechanism of dynamic early exiting and find it cannot achieve a satisfying trade-off between inference speed and performance. On one hand, the PLMs' representations in shallow layers are not sufficient for accurate prediction. One the other hand, the internal off-ramps cannot provide reliable exiting decisions. To remedy this, we instead propose CascadeBERT, which dynamically selects a proper-sized, complete model in a cascading manner. To obtain more reliable model selection, we further devise a difficulty-aware objective, encouraging the model output class probability to reflect the real difficulty of each instance. Extensive experimental results demonstrate the superiority of our proposal over strong baseline models of PLMs' acceleration including both dynamic early exiting and knowledge distillation methods.

研究の動機と目的

• 事前学習済み言語モデルにおける動的早期終了の限界を解決すること。具体的には、浅い層での表現が不十分で、出口決定が信頼できないという問題を改善する。
• 推論中にモデル選択の信頼性を向上させること。具体的には、浅い層での即時終了を、完全で段階的に大きなモデルのカスケード選択に置き換える。
• 入力インスタンスの真の難易度と一致するようにモデルの出力確率を調整する難易度に配慮した目的関数を設計すること。これにより、予測の信頼性が向上する。
• 動的早期終了や知識蒸留といった既存の高速化手法よりも、推論速度とモデル性能のバランスをより良くすること。

提案手法

• 各段階で浅い層での早期終了ではなく、完全で段階的に大きな事前学習済みモデルを使用するカスケード推論フレームワークを提案する。
• 入力インスタンスの真の難易度を反映するようにモデル出力確率を促進する、難易度に配慮した目的関数を導入する。これにより、出口決定の信頼性が向上する。
• カスケードの各段階で予測の信頼性をキャリブレートし、高い信頼度の出力がより難しいインスタンスに対応するように保証する。
• 標準的な交差エントロピーと難易度に配慮した正則化項を組み合わせた損失関数を用いて、カスケードモデルをエンドツーエンドで訓練する。
• 十分な予測信頼度に達する最小の完全モデルを選択するための信頼度しきい値機構を採用する。
• 各段階が部分的推論を避けるために、完全なトランスフォーマー・ブロックスタックを介して入力を処理するマルチステージ推論パイプラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 完全モデルのカスケード選択は、動的早期終了よりも推論速度と精度のバランスを改善できるか？
• RQ2 難易度に配慮した目的関数を組み込むことで、高速化された推論におけるモデル選択意思決定の信頼性は向上するか？
• RQ3 知識蒸留と比較して、提案手法は推論時間をどれほど短縮し、モデル性能を維持または向上できるか？
• RQ4 カスケード段階間でキャリブレートされた信頼度スコアは、実際のインスタンス難易度と相関しているか？
• RQ5 本手法は、さまざまなモデルサイズや下流NLPタスクにおいてスケーラブルか？

主な発見

• CascadeBERTは、浅い表現による精度の損失を招く動的早期終了手法と比較して、速度と精度のトレードオフをより良く達成した。
• 難易度に配慮した目的関数により、予測信頼度が実際のインスタンス難易度と一致するようになり、モデル選択の信頼性が向上した。
• 複数の下流NLPタスクにおいて、知識蒸留のベースラインと比較して、推論速度と精度の両方で優れた性能を示した。
• 完全モデルを用いたカスケード機構により、浅い層での早期終了に比べ、誤った早期終了のリスクが低減された。
• 実験結果から、特に難易度の高いインスタンスでは高段階のモデルが選択され、顕著な高速化が達成され、精度の低下も最小限に抑えられた。
• カスケード段階間でキャリブレートされた信頼度スコアは、インスタンス難易度と強い相関を示しており、設計目的の妥当性が裏付けられた。