[論文レビュー] Insights into Pre-training via Simpler Synthetic Tasks

Yuhuai Wu, Felix Li+1 more|arXiv (Cornell University)|Jun 21, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

この論文は、合成タスクを単純化することで事前学習の本質的要素を調査し、たとえ基本的なタスク（順序を保ったまま重複を除去する「Set」）であっても、自然な事前学習の65％の利得を達成できることを示している。驚くべきことに、このような合成事前学習の統計量での初期化のみで、自然な事前学習の39％の利得が得られ、さらに前アテンション層のノーマライゼーション値を調整するだけで、主要なタスクにおいて40％以上のギャップを埋めることができる。

ABSTRACT

Pre-training produces representations that are effective for a wide range of downstream tasks, but it is still unclear what properties of pre-training are necessary for effective gains. Notably, recent work shows that even pre-training on synthetic tasks can achieve significant gains in downstream tasks. In this work, we perform three experiments that iteratively simplify pre-training and show that the simplifications still retain much of its gains. First, building on prior work, we perform a systematic evaluation of three existing synthetic pre-training methods on six downstream tasks. We find the best synthetic pre-training method, LIME, attains an average of $67\%$ of the benefits of natural pre-training. Second, to our surprise, we find that pre-training on a simple and generic synthetic task defined by the Set function achieves $65\%$ of the benefits, almost matching LIME. Third, we find that $39\%$ of the benefits can be attained by using merely the parameter statistics of synthetic pre-training. We release the source code at https://github.com/felixzli/synthetic_pretraining.

研究の動機と目的

• 事前学習のどの特性が下流タスクのパフォーマンス向上に本質的であるかを特定すること。
• 既存の合成事前学習手法が多様な下流タスクにわたって一般化され、効果的であるかを評価すること。
• パフォーマンスの利点を維持しながら、合成事前学習タスクを最小限の複雑さに単純化すること。
• 合成事前学習からのパラメータ統計量のみで、その利点を再現できるかを調査すること。
• たとえば前アテンション層のノーマライゼーション値を調整するような、最小限の初期化変更が顕著な向上をもたらすかを特定すること。

提案手法

• 6つの多様な下流NLPタスクにおいて、3つの既存の合成事前学習手法（LIME、Dyck、Set）を体系的に評価する。
• 重複トークンを順序を保って除去する必要がある、極めて単純な新しい合成タスク（Set）を設計する。
• Setタスクからの事前学習モデル重みの統計的分布（平均と標準偏差）のみを抽出し、初期化に使用する。
• 以下の初期化方法のパフォーマンスを比較する：ランダム初期化、自然な事前学習（T5-Small）、合成事前学習（LIME、Set）、Setの統計量、前アテンション層のノーマライゼーション値の調整。
• 公平な比較のため、元のT5事前学習と同一のハイパーパramータを用いてT5-Smallモデル（60Mパラメータ）を訓練する。
• 6つの下流タスク（コード翻訳、意味解析、レトロシンセシス、読解理解、要約）で、すべての初期化済みモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 既存の合成事前学習手法は、自然な事前学習と比較して、広範な下流タスクにおいてどれほど効果的か？
• RQ2 Setのような最小限で汎用的な合成タスク事前学習は、より複雑な合成手法と同等のパフォーマンスを達成できるか？
• RQ3 事前学習重みの統計的性質（例：平均と分散）のみで、完全な合成事前学習の利点をどれほど再現できるか？
• RQ4 単一の値の初期化変更（例：前アテンション層のノーマライゼーション値を低くする）が、顕著な下流タスクの向上をもたらすか？
• RQ5 事前学習で顕著なパフォーマンス向上を達成するために必要な最小限のコンポーネントは何か？

主な発見

• 既存手法の中で最も優れたLIMEは、6つの下流タスク全体で自然な事前学習の平均67％のパフォーマンス向上を達成した。
• 本研究で提案するSetタスク（順序を保ったまま重複トークンを除去）は、自然な事前学習の65％の利得を達成し、LIMEとほぼ同等の性能を示した。
• Set事前学習からの重みの平均と標準偏差のみを用いた初期化で、自然な事前学習の39％の利得が得られた。
• 前アテンション層のノーマライゼーションパラメータを1層あたり1つのスカラー値に低く設定するだけで、要約と意味解析タスクでは40％以上、全6タスク平均では21％のギャップを埋めた。
• 合成事前学習の有効性は、複雑なデータパターンに起因するのではなく、モデル重みの特定の統計的性質と層正規化の挙動に起因している。
• 結果から、事前学習の核心的利点は、複雑なデータ分布の学習ではなく、重みの統計的性質と正規化パターンに起因している可能性が示唆された。