[論文レビュー] Optimizing Deeper Transformers on Small Datasets

Peng Xu, Dhruv Kumar+7 more|arXiv (Cornell University)|Dec 30, 2020

Topic Modeling参考文献 35被引用数 4

ひとこと要約

本稿では、学習率のウォームアップや層正則化を必要とせず、小さなデータセット上で48層にまで及ぶ非常に深いトランスフォーマーを、スクラッチから訓練できるデータ依存型重み初期化手法であるDT-Fixupを提案する。24層の微調整済みRoBERTa層と24層の関係に配慮した層を組み合わせたハイブリッドモデルにDT-Fixupを適用することで、タスク固有の事前学習を一切行わず、少ない学習ステップでSpider Text-to-SQLベンチマークで70.9%の正確一致（exact match）を達成し、最先端の性能を実現した。

ABSTRACT

It is a common belief that training deep transformers from scratch requires large datasets. Consequently, for small datasets, people usually use shallow and simple additional layers on top of pre-trained models during fine-tuning. This work shows that this does not always need to be the case: with proper initialization and optimization, the benefits of very deep transformers can carry over to challenging tasks with small datasets, including Text-to-SQL semantic parsing and logical reading comprehension. In particular, we successfully train $48$ layers of transformers, comprising $24$ fine-tuned layers from pre-trained RoBERTa and $24$ relation-aware layers trained from scratch. With fewer training steps and no task-specific pre-training, we obtain the state-of-the-art performance on the challenging cross-domain Text-to-SQL parsing benchmark Spider. We achieve this by deriving a novel Data-dependent Transformer Fixed-update initialization scheme (DT-Fixup), inspired by the prior T-Fixup work. Further error analysis shows that increasing depth can help improve generalization on small datasets for hard cases that require reasoning and structural understanding.

研究の動機と目的

• 非常に大きなデータセットを必要としないという一般的な信念に反して、特にデータが限られた推論中心のタスクにおいて、深層トランスフォーマーをスクラッチから訓練できるかを検証すること。
• 小規模データセット上で深層トランスフォーマーを訓練する際の最適化の課題、例えば制限されたバッチサイズによる不安定性や、学習率のウォームアップや層正則化への依存を克服すること。
• 一般化可能な初期化手法を開発し、小規模で複雑なNLPベンチマークにおいて、より深いトランスフォーマー構造が一般化性能や推論能力を向上させることを可能にすること。
• 適切に初期化されたより深いトランスフォーマーが、Spider や ReCola のようなデータセットにおいて、タスク固有の事前学習なしに、浅いモデルを上回ることを実証すること。

提案手法

• DT-Fixupは、T-Fixupにインspiredされたデータ依存型初期化スキームを提案し、入力データ分布に応じて重みスケーリングを調整することで、層正則化や学習率のウォームアップなしに訓練を安定化させる。
• この手法は、事前学習済みのRoBERTa層と新規に訓練される関係に配慮したトランスフォーマー層を組み合わせた混合アーキテクチャへと拡張され、小規模データセット上でのより深いモデルの構築を可能にする。
• 入力表現の分散を考慮した修正された重み初期化を適用し、バックプロパゲーションにおける安定した勾配を保証する。
• このアプローチは関係に配慮したトランスフォーマーへ一般化可能であり、Text-to-SQLパースィングなどのタスクにおける構造的・関係的依存性のより良いモデリングを可能にする。
• 小規模データセットに一般的な小さなバッチサイズで訓練が行われるが、DT-Fixupは収束性と一般化性能を維持する。
• 本手法は、2つの挑戦的なベンチマーク、Spider（クロスドメインのText-to-SQL）およびReCola（論理的読解理解）の両方で評価されている。両方とも1万件未満の訓練サンプルを有する。

実験結果

リサーチクエスチョン

• RQ1 10,000件未満の訓練サンプルで、事前学習なし、大規模バッチを使用しない条件下でも、48層に達する非常に深いトランスフォーマーをスクラッチから成功裏に訓練できるか？
• RQ2 DT-Fixupのようなデータ依存型初期化スキームは、小規模で複雑なNLPタスクにおいて、標準的な訓練手順に比べて一般化性能や収束速度で優れているか？
• RQ3 より深いトランスフォーマー構造は、Text-to-SQLパースィングや論理的読解理解のような推論中心のタスクにおいて、どの程度性能を向上させるか？
• RQ4 標準的な訓練手順が小規模データセットで失敗する理由は何か？最適化の改善のみで、深さの利点を回復できるか？

主な発見

• 提案されたDT-Fixup手法により、Spiderベンチマークで1万件の訓練サンプルのみを用いて、48層のトランスフォーマー（24層の事前学習済みRoBERTa層＋24層のスクラッチから訓練された関係に配慮した層）を訓練可能となった。
• モデルはSpiderのテストセットで70.9%の正確一致（exact match）を達成し、執筆時点での新しい最先端性能を樹立した。
• DT-Fixupは、特に推論や構造的理解を要する難易度の高い例において、標準的な訓練手順よりも優れた一般化性能を示した。
• 誤差解析の結果、より深いモデル（N=24）は、スケッチエラーと両方のエラーを、浅いモデルや標準的に訓練されたモデルと比較して顕著に低減しており、構造的推論能力の向上が示された。
• 学習率のウォームアップや層正則化の必要性がなくなり、小規模データセット上での小さなバッチサイズでも安定した訓練が可能になった。
• 性能の向上はアーキテクチャ設計そのものによるものではなく、最適化戦略に起因する。標準的な訓練手順を用いたより深いモデルでは、小規模データでは一般化が失敗した。