[論文レビュー] Can Pretext-Based Self-Supervised Learning Be Boosted by Downstream Data? A Theoretical Analysis

Jiaye Teng, Weiran Huang+1 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 4

ひとこと要約

この論文は、下流データを用いて事前学習の入力データを条件付き独立性（$f(\mathbf{x}) \perp \mathbf{z} \mid \mathbf{y}$）を満たすように精錬することで、事前学習ベースの自己教師あり学習を改善できるかを調査している。この条件は下流のサンプル複雑度を最小化する。本論文では、下流データが不十分な場合にデータプロセッサ $f$ を訓練することで性能が低下することを証明し、必要な下流サンプル数のモデルフリーおよびモデル依存の下界を確立した。これにより、データが限られる状況下で標準的な自己教師あり学習が最適であることが裏付けられた。

ABSTRACT

Pretext-based self-supervised learning learns the semantic representation via a handcrafted pretext task over unlabeled data and then uses the learned representation for downstream tasks, which effectively reduces the sample complexity of downstream tasks under Conditional Independence (CI) condition. However, the downstream sample complexity gets much worse if the CI condition does not hold. One interesting question is whether we can make the CI condition hold by using downstream data to refine the unlabeled data to boost self-supervised learning. At first glance, one might think that seeing downstream data in advance would always boost the downstream performance. However, we show that it is not intuitively true and point out that in some cases, it hurts the final performance instead. In particular, we prove both model-free and model-dependent lower bounds of the number of downstream samples used for data refinement. Moreover, we conduct various experiments on both synthetic and real-world datasets to verify our theoretical results.

研究の動機と目的

• 精錬された入力と事前学習ラベルの間の条件付き独立性を、下流ラベルを条件として強制することで、下流データが事前学習ベースの自己教師あり学習を改善できるかを調査すること。
• 下流データを用いたデータ精錬が失敗する、あるいは下流性能を損なう条件を同定し、より多くのデータが常に役立つという直観に疑問を呈すること。
• 表現の精錬に成功し、より良いサンプル複雑度を達成するために必要な下流サンプル数の理論的下界を導出すること。
• 合成データおよび実世界のデータセット（CIFAR-10を含む）を用いた実験を通じて理論的発見を検証すること。

提案手法

• 入力 $\mathbf{x}$ を変換することで、$f(\mathbf{x}) \perp \mathbf{z} \mid \mathbf{y}$ が満たされるようにする学習可能なデータプロセッサ $f$ を提案する。ここで $\mathbf{z}$ は事前学習ラベル、$\mathbf{y}$ は下流ラベルである。
• 得られた表現が条件付き独立性と $\mathbf{y}$ の予測能力の両方を満たすようにするための新しい損失関数を導入する。
• 表現学習中に性能劣化を避けるために必要な下流サンプル数のモデルフリーな下界を導出する。
• モデル容量が増加するにつれて増加するモデル依存の下界を確立し、より複雑なモデルは比例的に多くの下流データを必要とすることが示された。
• 合成データと実世界のデータセット（CIFAR-10など）を用いて、$\lambda$、モデルサイズ、下流サンプルサイズを変化させながら理論的主張を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な関数 $f$ を用いて下流データを用いてラベルなしデータを精錬することで、事前学習ベースの自己教師あり学習のサンプル複雑度を向上させられるか？
• RQ2 下流データを用いたデータ精錬が自己教師あり表現学習で失敗する、または性能を低下させる条件は何か？
• RQ3 表現を成功裏に精錬し、性能向上を達成するために必要な最小の下流サンプル数は何か？
• RQ4 モデル容量は、有効なデータ精錬に必要な下流サンプル数にどのように影響するか？

主な発見

• 下流データが不十分な場合にデータプロセッサ $f$ を訓練することは、性能を著しく劣化させることを明確に証明した。これは、より多くのデータが常に役立つという直観とは対照的である。
• 下流サンプル数のモデルフリーな下界を導出し、データが限られていると表現学習が改善できず、逆に損なわれる可能性があることを示した。
• モデル依存の下界を確立し、モデル容量が高いほど比例的に多くの下流サンプルが必要であることを示した。
• CIFAR-10における実験では、損失関数の $\lambda$ を増加させると性能が低下し、これは定理1を裏付けた。
• プロセッサの訓練に使用する下流サンプル数が少ない場合、性能が劣化することが確認され、表2の理論的下界が検証された。
• 下流データが十分でない状況でモデル容量を2倍にした場合、性能が著しく悪化した。これは定理4を裏付けた。