[論文レビュー] Finding Fast Transformers: One-Shot Neural Architecture Search by Component Composition

Henry Tsai, Jayden Ooi+3 more|arXiv (Cornell University)|Aug 15, 2020

Topic Modeling参考文献 21被引用数 12

ひとこと要約

本稿では、コンponentレベルのアーキテクチャ選択からサンプリングすることで、高速なTransformerモデルを構成するワンショットニューラルアーキテクチャサーチ手法を提案する。推論速度を最適化しつつ高い精度を維持することを目的としている。BERTをモジュール化されたコンponentに再パラメータ化し、プロファイリングを考慮した目的関数を用いたサンプリングベースの探索により、BERT-baseでは10–30%の高速化、蒸留モデルでは最大70%の高速化を達成し、精度の低下は最小限に抑えられる。

ABSTRACT

Transformer-based models have achieved stateof-the-art results in many tasks in natural language processing. However, such models are usually slow at inference time, making deployment difficult. In this paper, we develop an efficient algorithm to search for fast models while maintaining model quality. We describe a novel approach to decompose the Transformer architecture into smaller components, and propose a sampling-based one-shot architecture search method to find an optimal model for inference. The model search process is more efficient than alternatives, adding only a small overhead to training time. By applying our methods to BERT-base architectures, we achieve 10% to 30% speedup for pre-trained BERT and 70% speedup on top of a previous state-of-the-art distilled BERT model on Cloud TPU-v2 with a generally acceptable drop in performance.

研究の動機と目的

• モデル品質を損なわせることなく、高速なTransformerアーキテクチャを探索する効率的な手法を開発すること。
• 特にリアルワールドのデプロイ環境において、最先端のTransformerモデルにおける遅い推論を解決すること。
• 複数回のトレーニングサイクルを必要とせず、直接推論速度を最適化できるワンショットアーキテクチャサーチを可能にすること。
• さまざまなNLPタスクに応じて、アーキテクチャコンponentをどのように組み合わせればより高速なモデルが得られるかを調査すること。
• 従来の探索手法と比較して、コンponent単位での探索が速度と効率性において優れていることを示すこと。

提案手法

• Transformerアーキテクチャを、アテンションヘッド、フィードフォワード層、正規化層といったモジュール化されたコンponentに分解し、それぞれを独立してスケーリングまたはプルーニング可能にする。
• 複数回のトレーニングサイクルを必要とせず、1回のトレーニングでアーキテクチャの組み合わせを探索できる、サンプリングベースのワンショット探索アルゴリズムを提案する。
• 推論速度を直接最適化できるように、外部の計算プロファイリングデータを目的関数に統合し、FLOPsのような代理指標に依存しない。
• 幅（width）や深さ（depth）といったコンponentレベルのハイパーパrameterを同時にサンプリングすることで、モデルの深さと幅の共同最適化を可能にする。
• 学習から再開するのと同時に、知識蒸留との統合も可能で、蒸留モデルの効率的なファインチューニングを可能にする。
• 正則化を用いた微分可能サンプリング戦略を用いて、効率的で高速なアーキテクチャを促進する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングのオーバーヘッドを最小限に抑えつつ、Transformerにおける深さと幅のトレードオフを効率的に探索できるワンショットアーキテクチャサーチ手法を設計できるか？
• RQ2 コンponent単位でのアーキテクチャコンポジションは、顕著な精度の低下を伴わずに、より高速な推論を達成できるか？
• RQ3 探索目的関数に実際のハードウェアプロファイリングデータを統合することで、FLOPsベースの目的関数と比較して、より優れた推論速度が得られるか？
• RQ4 提案手法は、多様なNLPタスクにおいて、事前学習済みおよび蒸留されたBERTモデルを改善できるか？
• RQ5 文法的構造が複雑なタスク（例：品詞タグ付け対比して語彙素性解析）において、アーキテクチャの選択はどのように異なるか？

主な発見

• 事前学習済みBERT-baseモデルでは、下流タスクでの精度が0.5–1.0%低下するのみで、推論速度が10–30%高速化された。
• 蒸留BERTモデルでは、最大70%の高速化（ベースライン比3.5倍速）を達成し、同等の精度を維持した。
• 選択されたアーキテクチャはタスクによって顕著に異なる：1000個以上のクラスを必要とする語彙素性タスクでは、品詞タグ付けのような単純なタスクよりも大きなモデルを必要とする。
• SDO（サンプリングベースの直接最適化）アルゴリズムは、DO（ドロップアウトベース）を上回り、語彙素性タスクでは36倍の高速化を達成した（DOでは33倍）。精度は同等であった。
• 探索プロセスによるトレーニング時間のオーバーヘッドはわずか1.4倍で、メモリコストも最小限に抑えられており、大規模モデルに対しても実用的である。
• SDO-Rを用いる場合、再トレーニングを必要とせず、従来の最先端の蒸留BERTモデル比で1.7倍の高速化を達成でき、トレーニングリソースを2倍節約できる。