[論文レビュー] Self-Distillation for Further Pre-training of Transformers

Seanie Lee, Minki Kang+3 more|arXiv (Cornell University)|Sep 30, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、ドメイン固有のラベルなしデータに対する視覚・言語トランスフォーマーのさらなる事前学習の正則化手法として自己蒸留を提案する。マスクされた自己符号化の過程で、事前学習済みモデルを教師として用い、初期事前学習モデルのコピー（学生）をその表現蒸留によって指導することで、下流分類タスクにおける汎化性能が向上し、Vision Transformersにおける過学習の低減を実現する。ベースラインを上回る性能を発揮する。

ABSTRACT

Pre-training a large transformer model on a massive amount of unlabeled data and fine-tuning it on labeled datasets for diverse downstream tasks has proven to be a successful strategy, for a variety of vision and natural language processing tasks. However, direct fine-tuning of the pre-trained model may be suboptimal if there exist large discrepancies across data domains for pre-training and fine-tuning. To tackle this issue, several previous studies have proposed further pre-training strategies, where we continue to pre-train the model on the target unlabeled dataset before fine-tuning. However, all of them solely focus on language models and we empirically find that a Vision Transformer is vulnerable to overfitting as we continue to pretrain the model on target unlabeled data. In order to tackle this limitation, we propose self-distillation as a regularization for a further pre-training stage. Specifically, we first further pre-train the initial pre-trained model on the target unlabeled data and then consider it as a teacher for self-distillation. Then we take the same initial pre-trained model as a student and enforce its hidden representations to be close to those of the teacher while optimizing the student with a masked auto-encoding objective. We empirically validate the efficacy of self-distillation on a variety of benchmark datasets for image and text classification tasks. Experimentally, we show that our proposed method outperforms all the relevant baselines. Theoretically, we analyze the proposed method with a simplified model to understand how self-distillation for further pre-training can potentially help improve the performance of the downstream tasks.

研究の動機と目的

• 事前学習データと微調整データの間のドメインシフトの課題に取り組むこと、特に標準的なさらなる事前学習が過学習を引き起こすVision Transformersにおいて。
• 事前学習初期値からの重み更新をペナルティ化することで適応を妨げる既存の正則化手法の限界を克服すること。
• データ拡張に依存せずに、さらなる事前学習中の汎化性能を向上させる手法を開発すること。
• 限られたラベル付きデータにおける低リソース下流タスクへの事前学習トランスフォーマーの効果的適応を可能にすること。
• 自己蒸留が一般化誤差を低減し、微調整性能を向上させる役割を理論的および実験的に検証すること。

提案手法

• まず、マスクされた自己符号化（MAE）を用いて、ターゲットドメインのラベルなしデータ上で初期事前学習モデル（例：ViT や RoBERTa）をさらに事前学習し、教師モデルを生成する。
• さらに事前学習されたモデルのエンコーダーを教師として、知識蒸留のためのターゲット表現を提供する。
• 元の事前学習モデルのコピーを学生として取り、MAE事前学習の過程で教師の隠れ表現に一致するように学習させる。
• 学生モデルを、マスクされた自己符号化再構成損失と、学生と教師の表現の一致を強制する蒸留損失の組み合わせで最適化する。
• 自己蒸留の後、学生モデルをラベル付きの下流データセットで微調整する。
• 本手法は視覚および言語モデルの両方へ適用可能であり、蒸留ラウンド数のアブレーションスタディおよび初期値からの重み距離への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的なさらなる事前学習が過学習を引き起こすVision Transformersにおいて、自己蒸留はさらなる事前学習を正則化するために効果的か？
• RQ2 下流タスクの汎化性能において、自己蒸留は標準的な微調整およびさらなる事前学習と比較してどのように異なるか？
• RQ3 最初の自己蒸留ラウンドが、初期事前学習重みと最終微調整重みの間のL2距離をどのように低減するか？
• RQ4 理論的分析が示唆するように、自己蒸留は下流微調整段階における一般化ギャップを低減するか？
• RQ5 限られたラベル付きデータを伴う多様な画像およびテキスト分類ベンチマークにおいて、本手法はどのように性能を発揮するか？

主な発見

• 自己蒸留は、標準的な微調整およびさらなる事前学習ベースラインと比較して、画像およびテキスト分類ベンチマークにおける汎化性能を顕著に向上させる。
• CIFAR-100およびImageNet-1Kデータセットにおいて、本手法はベースラインを上回る精度を達成しており、特にデータが少ない状況で顕著である。
• 最初の自己蒸留ラウンドが最も顕著な正則化効果を示し、その後のラウンドよりも初期値からのモデル重みのL2距離をより顕著に低減する。
• 実験的結果から、初期値からの重み距離の低減が一般化性能の向上と相関していることが確認され、重みの近接性と一般化境界との理論的関連性を支持する。
• 簡略化モデルによる理論的分析から、自己蒸留が微調整段階における教師付き損失の一般化境界を厳密に減少させることを示している。
• 本手法は、ViT や RoBERTa を含む視覚および言語モデルの両方で有効であり、広範な適用可能性を示している。