[論文レビュー] AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search

Daoyuan Chen, Yaliang Li+8 more|arXiv (Cornell University)|Jan 13, 2020

Topic Modeling参考文献 41被引用数 24

ひとこと要約

AdaBERTは、微分可能ニューラルアーキテクチャ探索（NAS）を用いたタスク適応型BERT圧縮手法を提案する。この手法は、モデル効率性とタスク固有のパフォーマンスを同時に最適化する。タスク指向の知識蒸留と効率性に配慮した損失関数を組み込むことで、BERTと同等の精度を維持しながら、複数のNLPタスクで12.7倍から29.3倍の高速な推論と、11.5倍から17.0倍の小型化を達成する。

ABSTRACT

Large pre-trained language models such as BERT have shown their effectiveness in various natural language processing tasks. However, the huge parameter size makes them difficult to be deployed in real-time applications that require quick inference with limited resources. Existing methods compress BERT into small models while such compression is task-independent, i.e., the same compressed BERT for all different downstream tasks. Motivated by the necessity and benefits of task-oriented BERT compression, we propose a novel compression method, AdaBERT, that leverages differentiable Neural Architecture Search to automatically compress BERT into task-adaptive small models for specific tasks. We incorporate a task-oriented knowledge distillation loss to provide search hints and an efficiency-aware loss as search constraints, which enables a good trade-off between efficiency and effectiveness for task-adaptive BERT compression. We evaluate AdaBERT on several NLP tasks, and the results demonstrate that those task-adaptive compressed models are 12.7x to 29.3x faster than BERT in inference time and 11.5x to 17.0x smaller in terms of parameter size, while comparable performance is maintained.

研究の動機と目的

• リソースが限られたリアルタイムアプリケーションへの大規模事前学習済みBERTモデルの導入における非効率性を解消すること。
• 既存のBERT圧縮手法がタスクに依存しないモデルを生成するという限界を克服し、タスク固有の最適化に不適切なモデルを回避すること。
• ニューラルアーキテクチャ探索を用いて、自動的かつ効率的かつ効果的な方法でBERTをタスク適応型の小型モデルに圧縮する手法を開発すること。
• 探索中にタスク固有の知識蒸留と効率性に配慮した制約を統合することで、モデル効率性とパフォーマンスのバランスを取ること。

提案手法

• AdaBERTは、タスク適応型BERT圧縮アーキテクチャを自動的に発見するために、微分可能なニューラルアーキテクチャ探索（NAS）を採用する。
• 微分可能でないアーキテクチャ探索を効率的に行うために、ファインチューニング済みBERTモデルの隠れ状態とログティスから得られるタスク指向の知識蒸留損失を用いて、アーキテクチャ探索をガイドする。
• モデルサイズと推論速度に基づいて探索空間を制約するための効率性に配慮した損失項を導入し、明示的に効率性指標をモデル化する。
• BERTの一般表現からタスク固有の知識を抽出するプローブモデルを用いて、探索空間を階層的に縮小する。
• 離散的なアーキテクチャパラメータを連続分布に緩和し、勾配ベースの最適化による効率的なアーキテクチャ探索を可能にする。
• 全体の損失関数は、交差エントロピー損失（タスク精度のため）、知識蒸留損失（知識移転のため）、および効率性に配慮した損失（モデル効率性のため）を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 微分可能なニューラルアーキテクチャ探索は、タスクに適応したBERT圧縮アーキテクチャを効果的に得られ、タスクに依存しない圧縮手法を上回る性能を発揮するか？
• RQ2 タスク固有の知識蒸留を組み込むことで、多様なNLPタスクにおける圧縮BERTモデルのパフォーマンスはどのように向上するか？
• RQ3 効率性に配慮した損失が、圧縮BERTモデルにおけるモデルサイズ、推論速度、精度のトレードオフに与える影響は何か？
• RQ4 AdaBERTは、下流NLPタスクにおける競争力あるパフォーマンスを維持しながら、どの程度モデルサイズと推論時間を短縮できるか？

主な発見

• AdaBERTは、複数のNLPタスクでBERTと比較して12.7倍から29.3倍の高速な推論速度を達成する。
• 圧縮モデルのパラメータ数はBERTと比較して11.5倍から17.0倍小さく、モデルのフットプリントを顕著に削減する。
• 中程度の効率性係数（β=4）を用いることで、モデルサイズとパフォーマンスのバランスのとれた最適なトレードオフを達成し、制約なしや過度に効率性を重視した設定を上回る性能を発揮する。
• アブレーションスタディの結果、知識蒸留と教師ラベル損失を組み合わせることでパフォーマンスが向上し、特にMRPCやRTEのような低リソースタスクで顕著に効果を示す。
• データ拡張により、小規模なデータセット上でのパフォーマンスが向上し、蒸留プロセス中にタスク指向の知識が豊かに供給される。
• 本手法は、タスク固有の最適アーキテクチャを効果的に同定できており、静的圧縮アプローチに比べてタスク適応型圧縮の有効性を実証している。