[論文レビュー] AutoBERT-Zero: Evolving BERT Backbone from Scratch

Jiahui Gao, Hang Xu+6 more|arXiv (Cornell University)|Jul 15, 2021

Topic Modeling被引用数 4

ひとこと要約

本稿では、原始的数学演算と畳み込みブロックを組み合わせた柔軟な探索空間を用いて、スクラッチからBERTに類似したバックボーンを進化させる、新しいニューラルアーキテクチャ探索フレームワークAutoBERT-Zeroを提案する。効率的な評価のためのオペレーション・プライオリティNAS（OP-NAS）アルゴリズムとバイブランチ・ウェイト共有を導入することで、GLUEでBERT、RoBERTa、BERT-largeをそれぞれ2.4点および1.4点上回る性能を達成するハイブリッドアーキテクチャを発見した。FLOPs、遅延、メモリ使用量も削減された。

ABSTRACT

Transformer-based pre-trained language models like BERT and its variants have recently achieved promising performance in various natural language processing (NLP) tasks. However, the conventional paradigm constructs the backbone by purely stacking the manually designed global self-attention layers, introducing inductive bias and thus leads to sub-optimal. In this work, we make the first attempt to automatically discover novel pre-trained language model (PLM) backbone on a flexible search space containing the most fundamental operations from scratch. Specifically, we propose a well-designed search space which (i) contains primitive math operations in the intra-layer level to explore novel attention structures, and (ii) leverages convolution blocks to be the supplementary for attentions in the inter-layer level to better learn local dependency. To enhance the efficiency for finding promising architectures, we propose an Operation-Priority Neural Architecture Search (OP-NAS) algorithm, which optimizes both the search algorithm and evaluation of candidate models. Specifically, we propose Operation-Priority (OP) evolution strategy to facilitate model search via balancing exploration and exploitation. Furthermore, we design a Bi-branch Weight-Sharing (BIWS) training strategy for fast model evaluation. Extensive experiments show that the searched architecture (named AutoBERT-Zero) significantly outperforms BERT and its variants of different model capacities in various downstream tasks, proving the architecture's transfer and scaling abilities. Remarkably, AutoBERT-Zero-base outperforms RoBERTa-base (using much more data) and BERT-large (with much larger model size) by 2.4 and 1.4 higher score on GLUE test set.

研究の動機と目的

• BERTおよびその変種における手動設計された自己注意機構の誘導バイアスと性能の劣化を克服すること。
• スクラッチから自己注意構造とバックボーンアーキテクチャを自動で発見し、より効率的かつ強力なものを得ること。
• グローバルな依存関係とローカルな依存関係の両方を効果的にモデル化できるように、層内演算と層間のグローバル（注意）およびローカル（畳み込み）演算を組み合わせた柔軟な探索空間を設計すること。
• PLMアーキテクチャ探索における計算コストを大幅に削減する効率的なNASアルゴリズムを開発し、実用的な高パフォーマンスアーキテクチャの発見を可能にすること。
• 探索されたアーキテクチャの転送可能性とスケーラビリティが、さまざまなモデルサイズおよび下流NLPタスクで有効であることを検証すること。

提案手法

• 層内演算（加算、乗算などの原始的数学演算を含む）を用いた柔軟な探索空間を提案し、変動するパス長さと入力ノードを持つ新しい注意機構の探索を可能にする。
• 層間探索空間を導入し、自己注意と畳み込みブロックを組み合わせることで、層間におけるグローバル特徴とローカル特徴の学習のバランスを取る。
• アーキテクチャの変異過程において探索と活用のバランスを取るために、信頼度ベースのUCB選択を用いたオペレーション・プライオリティ（OP）進化戦略を開発する。
• 注意と畳み込みコンponentsのスーパーネットブランチ間で重みを共有することで、モデル評価を高速化するバイブランチ・ウェイト共有（BIWS）トレーニング戦略を設計する。
• 40kステップの事前学習後にGLUE微調整を用いたプロキシ評価パイプラインを採用し、候補アーキテクチャの効率的ランク付けを実現する。
• 2段階のトレーニングプロセスを採用：まずBIWSによる高速評価でNASを実施し、次に標準ハイパーパramータを用いて標準ベンチマークで完全な微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャ探索フレームワークは、手動設計された自己注意機構よりも効果的かつ効率的なPLMバックボーンを発見できるか？
• RQ2 学習された注意構造と畳み込み演算を組み合わせることで、事前学習言語モデルにおける性能と効率が向上するか？
• RQ3 効率的なNASアルゴリズムは、高性能を維持しつつ、PLMバックボーン探索における計算コストを顕著に削減できるか？
• RQ4 探索されたアーキテクチャは、さまざまなモデルサイズおよび下流NLPタスクで十分に一般化できるか？
• RQ5 発見されたアーキテクチャは、RoBERTa や BERT-large よりも少ないデータと小型サイズで、既存の最先端モデルを上回る性能を示せるか？

主な発見

• AutoBERT-Zero-baseはGLUEスコア86.3を達成し、RoBERTa-base（83.9）とBERT-large（84.9）をそれぞれ2.4点および1.4点上回った。
• V100上でBERT-baseと比較して、FLOPsが20.7％（2.3e10 vs. 2.9e10）削減され、推論遅延が7.2％（27.2s vs. 29.3s）低減された。
• AutoBERT-Zero-baseは104Mパラメータを有し、BERT-base（110M）と比べてわずかに少ないが、より高い性能を達成した。
• メモリ使用量は2.1Gであり、BERT-base（2.5G）と比較して16％削減され、メモリ効率の向上が示された。
• BIWSトレーニング戦略により、合計探索コストが推定182K GPU時間から24K GPU時間に大幅に削減され、効率性が著しく向上した。
• 探索されたアーキテクチャは強力な転送性を示し、GLUE、SQuAD v1.1、SQuAD v2.0、およびその他のベンチマークで最先端の性能を達成した。