[論文レビュー] Towards Understanding Why Mask-Reconstruction Pretraining Helps in Downstream Tasks

Jiachun Pan, Pan Zhou+1 more|arXiv (Cornell University)|Jun 8, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

この論文は、マスク再構成事前学習（MRP）の理論的分析を提供し、2層または1層の畳み込み自己符号化器を用いたMRPが、事前学習データ内の各意味的クラスのすべての判別特徴を捉えていることを示している。さらに、微調整されたMRPモデルが、さまざまな下流データセットにおける特徴の保持を通じて、教師あり学習を上回る優れた一般化性能を達成することを証明しており、単一および複数の視点データにおいても高いテスト精度を理論的に保証している。

ABSTRACT

For unsupervised pretraining, mask-reconstruction pretraining (MRP) approaches, e.g. MAE and data2vec, randomly mask input patches and then reconstruct the pixels or semantic features of these masked patches via an auto-encoder. Then for a downstream task, supervised fine-tuning the pretrained encoder remarkably surpasses the conventional ``supervised learning'' (SL) trained from scratch. However, it is still unclear 1) how MRP performs semantic feature learning in the pretraining phase and 2) why it helps in downstream tasks. To solve these problems, we first theoretically show that on an auto-encoder of a two/one-layered convolution encoder/decoder, MRP can capture all discriminative features of each potential semantic class in the pretraining dataset. Then considering the fact that the pretraining dataset is of huge size and high diversity and thus covers most features in downstream dataset, in fine-tuning phase, the pretrained encoder can capture as much features as it can in downstream datasets, and would not lost these features with theoretical guarantees. In contrast, SL only randomly captures some features due to lottery ticket hypothesis. So MRP provably achieves better performance than SL on the classification tasks. Experimental results testify to our data assumptions and also our theoretical implications.

研究の動機と目的

• マスク再構成事前学習（MRP）が事前学習中にどのように意味的特徴を学習するかを理解すること。
• MRPがエンドツーエンドの教師あり学習と比較して、下流タスクで優れたパフォーマンスを達成する理由を説明すること。
• MRPが事前学習データセット内の各意味的クラスのすべての判別特徴を理論的に捉えていることを証明すること。
• 特徴カバレッジとカーネル特化の結果として、MRPが教師あり学習よりも一般化性能に優れていることを示すこと。
• 共有されるデータ分布下で、下流分類タスクにおける高いテスト精度を理論的に保証すること。

提案手法

• MRPの2層または1層の畳み込み自己符号化器アーキテクチャについて理論的分析が行われた。
• 分析では、Allen-Zhu & Li (2020) が提唱したマルチビュー・データ仮定に基づき、判別特徴を持つマルチビューまたはシングルビューのデータを仮定している。
• 各畳み込みカーネルが最大で1つの特徴しか捉えないことを証明しており、これにより特徴の融合が防がれ、下流タスクにおける明確なクラス分離が可能になる。
• 事前学習データセットが大きく多様であるため、下流データセットに含まれる大部分の特徴をカバーしており、事前学習済みエンコーダーが優れた一般化性能を発揮できることを示している。
• MRPと教師あり学習の理論的比較が行われ、共有されるデータ分布下でMRPがより高いテスト精度を達成することを示している。
• 勾配更新とカーネルダイナミクスを用いて、MRPが微調整の過程でも特徴表現を保持することを示している。

実験結果

リサーチクエスチョン

• RQ1 マスク再構成事前学習（MRP）は、事前学習中にどのように意味的特徴を学習するのか？
• RQ2 なぜMRPはエンドツーエンドの教師あり学習よりも下流分類タスクで優れた性能を発揮するのか？
• RQ3 MRPは、教師あり学習よりも優れた特徴カバレッジと一般化性能を理論的に保証できるか？
• RQ4 カーネル特化は、MRPが下流タスクで成功する上で果たす役割は何か？
• RQ5 MRPは、事前学習から微調整にかけて判別特徴を理論的保証とともに保持するのか？

主な発見

• 2層または1層の畳み込み自己符号化器を用いたMRPは、事前学習データセット内の各意味的クラスのすべての判別特徴を捉えている。
• エンコーダー内の各畳み込みカーネルは、最大で1つの特徴しか捉えず、特徴の融合を防ぎ、下流タスクにおける明確なクラス分離を可能にする。
• 事前学習データセットが大きく多様であるため、MRPは下流データセットに含まれる大部分の特徴を捉えており、強力な一般化性能を発揮できる。
• 微調整後、MRPは単一視点および複数視点データの両方で高いテスト精度を達成し、教師あり学習を上回る。特に単一視点データでは、教師あり学習は半分の精度しか得られない。
• 理論的分析により、MRPが微調整の過程でも特徴表現を維持しており、新しいサンプルの正しく分類される可能性を保証している。
• これらの結果は、事前学習データセットと下流データセットが同じデータ分布に従うという仮定の下で成り立つ。