[論文レビュー] Self-Supervised Training Enhances Online Continual Learning

Jhair Gallardo, Tyler L. Hayes+1 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 72被引用数 23

ひとこと要約

本論文は、ImageNetにおけるオンライン継続的学習（OCL）において、教師あり事前学習の代わりに自己教師あり事前学習を採用することを提案し、自己教師あり特徴—特にSwAV—が未学習クラスにさらに良好に一般化することを示した。限られた事前学習データの下で、先行SOTAに比べてトップ1精度が14.95%相対的に向上した。

ABSTRACT

In continual learning, a system must incrementally learn from a non-stationary data stream without catastrophic forgetting. Recently, multiple methods have been devised for incrementally learning classes on large-scale image classification tasks, such as ImageNet. State-of-the-art continual learning methods use an initial supervised pre-training phase, in which the first 10% - 50% of the classes in a dataset are used to learn representations in an offline manner before continual learning of new classes begins. We hypothesize that self-supervised pre-training could yield features that generalize better than supervised learning, especially when the number of samples used for pre-training is small. We test this hypothesis using the self-supervised MoCo-V2, Barlow Twins, and SwAV algorithms. On ImageNet, we find that these methods outperform supervised pre-training considerably for online continual learning, and the gains are larger when fewer samples are available. Our findings are consistent across three online continual learning algorithms. Our best system achieves a 14.95% relative increase in top-1 accuracy on class incremental ImageNet over the prior state of the art for online continual learning.

研究の動機と目的

• 自己教師あり事前学習が、従来の教師あり事前学習と比較して、オンライン継続的学習（OCL）における一般化性能を向上させるかどうかを調査すること。
• 特に事前学習データが限られた状況において、自己教師あり特徴の未学習ImageNetカテゴリに対する判別力の評価すること。
• 自己教師あり特徴が、複数のOCLアルゴリズムにおいて性能を向上させるかどうか、特にデータが不足する事前学習環境下で検証すること。
• 教師あり事前学習を自己教師あり手法に置き換えることで、ImageNetにおけるオンライン継続的学習の新しいSOTAを確立すること。

提案手法

• ImageNetの一部のクラスに対して、自己教師あり手法3つ（MoCo-V2、Barlow Twins、SwAV）を用いてResNet-18の特徴を事前学習した。
• 事前学習中に見なかったImageNetクラスを対象に、オフライン線形評価を通じて特徴の質を評価し、一般化性能を測定した。
• 自己教師あり特徴をREMIND OCLフレームワークに統合し、特徴は固定し、学習可能な層のみをオンラインで更新した。
• 異なる事前学習データ量の下で、自己教師ありと教師あり事前学習を用いた3つのOCLアルゴリズムの性能を比較した。
• オフラインおよびオンライン設定の両方で、標準的なImageNet 1000クラスのトップ1精度を主評価指標とした。
• アブレーション設定全体で一貫したパフォーマンスを示し、一般化の恩恵を得られることから、SwAVを強力なベースラインとして選定した。

実験結果

リサーチクエスチョン

• RQ1 限られた事前学習データの下で、自己教師あり事前学習が教師あり事前学習よりも未学習ImageNetカテゴリへの一般化性能を向上させるか？
• RQ2 オフライン線形評価において、自己教師あり特徴と教師あり特徴の判別力はどのように比較されるか？
• RQ3 自己教師あり特徴は、複数のOCLアルゴリズムにおいてオンライン継続的学習環境での性能向上を実現できるか？
• RQ4 事前学習データ量が、OCLにおける自己教師ありと教師あり事前学習の性能差に与える影響は何か？
• RQ5 自己教師あり事前学習は、ImageNetにおけるオンライン継続的学習で新しいSOTAを確立できるか？

主な発見

• MoCo-V2、Barlow Twins、SwAVを用いた自己教師あり事前学習は、オフライン線形評価およびImageNetにおけるオンライン継続的学習の両方で、教師あり事前学習を上回った。
• 事前学習に使用するクラス数が少ないほど、自己教師ありと教師あり事前学習の性能差が顕著に大きくなり、データが不足する状況でその差が拡大した。
• SwAV特徴は、すべての設定で最良のパフォーマンスを示し、オフラインおよびオンライン評価の両方で教師あり特徴を常に上回るか、同等の性能を達成した。
• ImageNetクラスの10%での事前学習において、自己教師あり手法は、先行SOTAに比べてオンライン継続的学習でトップ1精度が14.95%相対的に向上した。
• 自己教師あり特徴は、カテゴリに依存しない表現を学習するため、特にデータが少ない環境下で、教師あり特徴よりも未学習カテゴリへの一般化性能が優れていた。
• 3つの異なるオンライン継続的学習アルゴリズム全体にわたり一貫した結果が得られ、自己教師あり事前学習が一般化の向上に寄与する強力な一般化手法であることが確認された。