[論文レビュー] A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks

Huanru Henry Mao|arXiv (Cornell University)|Jul 1, 2020

Domain Adaptation and Few-Shot Learning被引用数 26

ひとこと要約

本調査は、コンピュータビジョン、自然言語処理、音声／スピーク分野における順序付き転移学習のための自己教師あり事前学習手法について包括的な概要を提供する。自己教師あり学習をボトルネックベースと予測ベースの手法に分類し、重要な事前学習タスクを強調するとともに、微調整を超えたマルチモーダル学習やフェイシュットプローブといった今後の方向性を特定する。

ABSTRACT

Deep neural networks are typically trained under a supervised learning framework where a model learns a single task using labeled data. Instead of relying solely on labeled data, practitioners can harness unlabeled or related data to improve model performance, which is often more accessible and ubiquitous. Self-supervised pre-training for transfer learning is becoming an increasingly popular technique to improve state-of-the-art results using unlabeled data. It involves first pre-training a model on a large amount of unlabeled data, then adapting the model to target tasks of interest. In this review, we survey self-supervised learning methods and their applications within the sequential transfer learning framework. We provide an overview of the taxonomy for self-supervised learning and transfer learning, and highlight some prominent methods for designing pre-training tasks across different domains. Finally, we discuss recent trends and suggest areas for future investigation.

研究の動機と目的

• 視覚、NLP、音声／スピークを含む多様な分野における順序付き転移学習のための自己教師あり事前学習技術を統合的にレビューすること。
• 自己教師あり学習手法をボトルネックベースと予測ベースのアプローチに分類・分析し、分野固有の例を提示すること。
• 事前学習タスクが下流の転移性能をどのように向上させるかを検討し、効果的な事前学習の設計原則を同定すること。
• 最近のトレンドとしてのマルチタスク学習、フェイシュットプローブ、自己教師ありモデルにおけるアーキテクチャの柔軟性を議論すること。
• 未解決の課題と今後の研究方向性を特定すること。これにはマルチモーダル学習や大規模事前学習モデルからの効率的知識抽出が含まれる。

提案手法

• 自己教師あり学習を2つの主要なパラダイムに分類する：モデルアーキテクチャによって情報圧縮を強制するボトルネックベースの手法と、マスキングまたは文脈的情報を予測するように学習させる予測ベースの手法。
• マスキング自己符号化、対照的学習、次文予測といった代表的な事前学習タスクをレビューし、それらが下流タスクとどのように整合しているかを強調する。
• モデルスケールとデータ量の影響を分析し、表現品質の向上のためにはより大きなモデルとより多くのデータを用いるべきだと提言する。
• アーキテクチャの柔軟性を評価し、特に勾配伝搬の改善とインダクティブバイアスの低減により、RNNに比べてトランスフォーマーが自己教師あり学習で優れた性能を示す点を強調する。
• 微調整に加え、マルチタスク学習やフェイシュットプロンプティングといった代替の適応技術を含む転移学習戦略を評価する。
• 複数の事前学習目的を組み合わせることで、単一のタスクを独立して使用するよりも優れた性能が得られることを提唱する。

実験結果

リサーチクエスチョン

• RQ1 ボトルネックベースと予測ベースの自己教師あり学習手法は、アーキテクチャと学習目的においてどのように異なるか？
• RQ2 視覚、NLP、音声分野における順序付き転移学習において、最も効果的な事前学習タスクは何か？
• RQ3 モデルサイズと学習データ量のスケーリングは、自己教師あり事前学習の性能にどの程度影響を与えるか？
• RQ4 トランスフォーマーのような柔軟なアーキテクチャは、自己教師あり順序付き学習において再帰的モデルを上回ることができるか？
• RQ5 微調整を超える代替の知識適応技術として、事前学習モデルから下流タスクに知識を効果的に転送する方法は何か？

主な発見

• 複数の事前学習タスクを組み合わせることで、単一のタスクを独立して使用するよりも優れた性能が得られ、表現学習における相乗効果が示唆される。
• より大きなモデルをより多くのデータで学習させることで一貫して優れた結果が得られ、大規模データセット上で少ないイテレーションで大規模モデルを学習させることは、小規模モデルを上回ることが多い。
• トランスフォーマーのような柔軟なアーキテクチャは、RNNに比べてインダクティブバイアスが低く、勾配伝搬が良好であるため、自己教師あり学習で優れた性能を示す。
• フェイシュットプローブ（自然言語プロンプトで数例のみでタスクを指定）は、微調整なしで強力な性能を達成でき、特にNLP分野で顕著である。
• 音声・視覚の共同対照的学習や画像・テキストのマスキングモデリングといったマルチモーダル事前学習は、分野間の一般化を向上させる可能性を示している。
• スケーリングの進展にもかかわらず、現在のモデルは依然として一般的な知識や世界認識能力に欠けているため、自己教師ありアプローチにおける主要な制限要因である。