[論文レビュー] Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation.

Xuanli He, Islam Nassar+3 more|arXiv (Cornell University)|Jun 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 96被引用数 7

ひとこと要約

この論文では、自己学習および知識蒸留のためのドメイン内未ラベルデータを生成するために微調整されたGPT-2を用いるGAL（Generate, Annotate, and Learn）というフレームワークを紹介する。合成データを生成し、分類器からのソフトプシードラベルを用いることで、GLUE、CIFAR-10、UCIの表形式タスクにおいて性能が向上し、6層のトランスフォーマーでは最先端の結果を達成し、RoBERTa-largeを上回る性能を発揮した。

ABSTRACT

Semi-Supervised Learning (SSL) has seen success in many application domains, but this success often hinges on the availability of task-specific unlabeled data. Knowledge distillation (KD) has enabled compressing deep networks and ensembles, achieving the best results when distilling knowledge on fresh task-specific unlabeled examples. However, task-specific unlabeled data can be challenging to find. We present a general framework called generate, annotate, and learn (GAL) that uses unconditional generative models to synthesize in-domain unlabeled data, helping advance SSL and KD on different tasks. To obtain strong task-specific generative models, we adopt generic generative models, pretrained on open-domain data, and fine-tune them on inputs from specific tasks. Then, we use existing classifiers to annotate generated unlabeled examples with soft pseudo labels, which are used for additional training. When self-training is combined with samples generated from GPT2-large, fine-tuned on the inputs of each GLUE task, we outperform a strong RoBERTa-large baseline on the GLUE benchmark. Moreover, KD on GPT-2 samples yields a new state-of-the-art for 6-layer transformers on the GLUE leaderboard. Finally, self-training with GAL offers significant gains on image classification on CIFAR-10 and four tabular tasks from the UCI repository

研究の動機と目的

• 半教師あり学習および知識蒸留におけるタスク固有の未ラベルデータへのアクセス制限という課題に対処すること。
• 実際の未ラベルデータに依存せずに、下流のNLP、画像認識、表形式タスクにおけるモデル性能を向上させること。
• 事前学習済み生成モデルを活用してデータ合成と疑似ラベル付けを行う汎用性の高いフレームワークを開発すること。
• 微調整されたGPT-2から得られる合成データが、多様なタスクにおいて自己学習および知識蒸留を効果的に改善できることを実証すること。

提案手法

• タスク固有の入力を用いて一般化された事前学習済み生成モデル（GPT-2-large）を微調整し、タスク固有の生成モデルを構築すること。
• 微調整済みの生成モデルを用いて、下流タスクのドメインに適した未ラベルの例を合成すること。
• 既存の分類器を用いて、生成されたサンプルにソフトプシードラベルを割り当てること。
• 生成された、疑似ラベルが付与されたデータを自己学習に活用し、学生モデルの性能をさらに向上させること。
• 生成データを用いた知識蒸留を適用し、より小さなモデルを訓練することで性能と効率性を向上させること。
• 多様なベンチマークで訓練および評価を行う：NLPのGLUE、画像認識のCIFAR-10、UCIの表形式データセット。

実験結果

リサーチクエスチョン

• RQ1 無条件生成モデルは、タスク固有の下流タスク用に高品質でドメインに適した未ラベルデータを生成するために微調整可能か？
• RQ2 微調整されたGPT-2で生成された合成データを用いた自己学習は、GLUEおよび他のベンチマークにおける性能を向上させるか？
• RQ3 生成データ上で知識蒸留を適用することで、6層トランスフォーマー用に最先端の結果が達成可能か？
• RQ4 GALフレームワークは、NLP、画像認識、表形式データを含む多様な分野においてどの程度有効か？
• RQ5 生成データにソフトプシードラベルを適用することで、モデルの汎化性能が一貫して向上するか？

主な発見

• 微調整されたGPT-2-largeから生成されたGALデータを用いた自己学習は、GLUEベンチマークで強力なRoBERTa-largeベースラインを上回った。
• GPT-2で生成されたサンプルを用いた知識蒸留により、6層トランスフォーマーのGLUEリーダーボードで新たな最先端の結果が達成された。
• GALを用いた自己学習は、CIFAR-10画像分類タスクにおいて顕著な性能向上をもたらした。
• フレームワークは、UCIリポジトリの4つの表形式学習タスクにおいて性能を向上させた。
• 生成データにソフトプシードラベルを適用することで、評価されたすべてのタスクで一貫した、測定可能な向上が得られた。