[論文レビュー] Rethinking Self-Supervised Learning: Small is Beautiful

Yun-Hao Cao, Jianxin Wu|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 10

ひとこと要約

本論文は、小規模な解像度、小規模なアーキテクチャ、小規模なデータを用いることで、従来の自己教師あり学習（SSL）とは根本的に異なるパラダイムを提案する。限られたデータと低コストのモデル複雑度、低入力解像度で訓練することで、S3Lは標準的なSSL手法よりも高い精度を達成し、計算コストを著しく低減する。CUB200 や Cars のような小規模データセットにおいて、ImageNetで事前学習されたモデルを上回ることすら可能である。

ABSTRACT

Self-supervised learning (SSL), in particular contrastive learning, has made great progress in recent years. However, a common theme in these methods is that they inherit the learning paradigm from the supervised deep learning scenario. Current SSL methods are often pretrained for many epochs on large-scale datasets using high resolution images, which brings heavy computational cost and lacks flexibility. In this paper, we demonstrate that the learning paradigm for SSL should be different from supervised learning and the information encoded by the contrastive loss is expected to be much less than that encoded in the labels in supervised learning via the cross entropy loss. Hence, we propose scaled-down self-supervised learning (S3L), which include 3 parts: small resolution, small architecture and small data. On a diverse set of datasets, SSL methods and backbone architectures, S3L achieves higher accuracy consistently with much less training cost when compared to previous SSL learning paradigm. Furthermore, we show that even without a large pretraining dataset, S3L can achieve impressive results on small data alone. Our code has been made publically available at https://github.com/CupidJay/Scaled-down-self-supervised-learning.

研究の動機と目的

• 自己教師あり学習（SSL）が、教師あり学習の大型・高解像度・長時間訓練のパラダイムを模倣すべきという仮定に挑戦すること。
• 入力解像度、モデルサイズ、事前学習データを低減することで、SSLにおける効率性と性能が向上するかどうかを調査すること。
• 大規模な事前学習を経ずに、直接小規模なダウンストリームデータセットでSSLを訓練することで、優れた結果が得られることを示すこと。
• 限られたデータにおいて、特定のネットワーク部品（例：最終残差ブロック）がSSLに果たす役割を調査すること。
• 特に延長された訓練を経て、SSLが小規模データにおいて教師あり学習よりも頑健であることを確立すること。

提案手法

• 小規模な入力解像度（例：224×224ではなく112×112）、より小さなバックボーンアーキテクチャ（例：最終残差ブロックの削除）を用いる新しいSSLパラダイム「S3L」を提案。
• 標準的な対照的学習とInfoNCE損失を採用するが、スケーリングされた小さな設定を適用することで、計算コストを低減し、小規模データにおける汎化性能を向上させる。
• 2つの重要なアーキテクチャ的変更を導入：「conv5の重みを削除」および「conv5を削除」。両者とも、対照的損失への過学習を低減することで、小規模データセットでの性能向上が示された。
• SimCLRフレームワークを用いて、小規模データセットで800〜1600エポックにわたり事前学習し、その後標準的な最適化手法を用いた微調整を実施。
• 標準的なSSL（例：MoCov2、SimCLR）およびImageNetでの教師あり事前学習を比較し、CUB200、pets、flowersを含む7つの小規模ベンチマークで評価。
• データ不足に対するSSLの頑健性を評価するために、小規模なImageNetサブセット（10kおよび50k枚の画像）を用いて性能を評価。

実験結果

リサーチクエスチョン

• RQ1 入力解像度とモデルサイズを低減することで、小規模データセットにおける自己教師あり表現学習の性能が向上するか？
• RQ2 大規模な事前学習を経ずに、直接小規模なダウンストリームデータセットで事前学習を行うことで、標準的なSSLパラダイムよりも優れた結果が得られるか？
• RQ3 データが限られた状況で、最終残差ブロックを削除するようなアーキテクチャ的変更がSSL性能に与える影響は何か？
• RQ4 小規模データセットで訓練する場合、SSLと教師あり学習の汎化性能および過学習の度合いはどのように異なるか？
• RQ5 ImageNetでの事前学習に依存せずに、S3Lが小規模データセットで最先端の性能を達成できるか？

主な発見

• 『conv5を削除』戦略を用いることで、CUB200、pets、flowersにおいて、それぞれ17.3%、32.7%、25.5%の相対的精度向上を達成。
• CUB200では、S3Lが事前学習なしで訓練を開始した場合、ImageNetで事前学習されたモデルを上回る最先端の性能を達成。
• 小規模なImageNet（10,000枚の画像）において、112×112解像度で訓練されたMoCov2は強力な下流検出性能を示したが、教師あり学習は過学習のため失敗。
• 延長された事前学習（最大1600エポック）は、小規模データにおけるSSL性能を向上させるが、教師あり学習には悪影響を及ぼし、SSLの高いデータ効率性を示している。
• 『conv5の重みを削除』よりも『conv5を削除』のほうが、より低い訓練コストで優れた性能を示しており、最終層が小規模データにおいて対照的損失に過学習しやすいことが示唆された。
• S3Lは、大規模データセットでの事前学習なしに、CUB200、Cars、Aircraft、petsで最先端の結果を達成し、直接的な小規模データSSLの有効性を証明した。