[論文レビュー] Efficient Self-supervised Continual Learning with Progressive Task-correlated Layer Freezing

Li Yang, Sen Lin+3 more|arXiv (Cornell University)|Mar 13, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、タスク相関比が最も高いレイヤーを段階的に凍結することで、トレーニングコストとメモリ使用量を削減する、効率的な自己教師あり継続的学習（SSCL）の手法であるプログレッシブタスク相関レイヤー凍結（PTLF）を提案する。実験の結果、LUMPなどの最先端手法と比較して、トレーニングが12–14%高速化され、メモリ使用量が23–26%削減され、バックワードFLOPsが33–35%減少し、忘却が軽減され、精度の低下がないことが示された。

ABSTRACT

Inspired by the success of Self-supervised learning (SSL) in learning visual representations from unlabeled data, a few recent works have studied SSL in the context of continual learning (CL), where multiple tasks are learned sequentially, giving rise to a new paradigm, namely self-supervised continual learning (SSCL). It has been shown that the SSCL outperforms supervised continual learning (SCL) as the learned representations are more informative and robust to catastrophic forgetting. However, if not designed intelligently, the training complexity of SSCL may be prohibitively high due to the inherent training cost of SSL. In this work, by investigating the task correlations in SSCL setup first, we discover an interesting phenomenon that, with the SSL-learned background model, the intermediate features are highly correlated between tasks. Based on this new finding, we propose a new SSCL method with layer-wise freezing which progressively freezes partial layers with the highest correlation ratios for each task to improve training computation efficiency and memory efficiency. Extensive experiments across multiple datasets are performed, where our proposed method shows superior performance against the SoTA SSCL methods under various SSL frameworks. For example, compared to LUMP, our method achieves 12\%/14\%/12\% GPU training time reduction, 23\%/26\%/24\% memory reduction, 35\%/34\%/33\% backward FLOPs reduction, and 1.31\%/1.98\%/1.21\% forgetting reduction without accuracy degradation on three datasets, respectively.

研究の動機と目的

• 自己教師あり継続的学習（SSCL）の高い計算コストとメモリ使用量が、実世界への導入を制限しているという問題に対処すること。
• SSCLにおけるタスク相関を調査し、パフォーマンスを損なわずトレーニングのオーバーヘッドを低減するための活用法を検討すること。
• タスク相関に基づいてレイヤーを効果的に凍結することで、トレーニングとメモリの効率を向上させる手法を開発すること。
• 計算コストを大幅に削減しつつ、Catastrophic forgettingを緩和すること。
• SSCLの表現が、教師あり学習よりも過酷なレイヤー凍結に対してより頑健であることを示すこと。

提案手法

• 本手法は、勾配投影ノルムに基づくタスク相関比を導入し、現在のタスクと過去のタスクとの類似度を定量化する。
• レイヤーはその相関比に基づいて順位付けされ、各タスクに対して相関比の高い順に段階的に凍結される。
• 凍結はトレーニング中にレイヤー単位で実行され、各タスクごとに上位の相関レイヤーの固定割合（例：0.4）が適用される。
• 本手法は、アーキテクチャの変更なしに、既存のSSLフレームワーク（例：SimSiam、BarlowTwins）に統合可能である。
• 凍結スケジュールはタスクごとに適応的であり、固定されたレイヤー順序ではなく、タスク間の特徴類似度に基づく。
• 本手法は、Split CIFAR-10、CIFAR-100、TinyImageNet、ImageNet-100の複数のベンチマークで評価された。

Figure 1: The overview of our proposed method which progressively freezes partial layers during the whole training process for each task.

実験結果

リサーチクエスチョン

• RQ1 自己教師あり継続的学習における中間特徴は、連続するタスク間でどのように相関しているか？
• RQ2 勾配投影から導出されるタスク相関比を用いて、SSCLにおける効率的なレイヤー凍結を誘導できるか？
• RQ3 高相関レイヤーを段階的に凍結することで、トレーニングコストとメモリ使用量を削減しつつ、パフォーマンスを維持できるか？
• RQ4 インデックス順の単純なレイヤー凍結（例：インデックス順）と比較して、本手法は忘却と精度の点でどのように異なるか？
• RQ5 SSCLは、教師あり継続的学習よりも過酷なレイヤー凍結に対してより頑健か？

主な発見

• LUMPと比較して、本手法はSplit CIFAR-10で12%、CIFAR-100で14%、TinyImageNetで12%のGPUトレーニング時間を短縮した。
• CIFAR-10で23%、CIFAR-100で26%、TinyImageNetで24%のメモリ使用量を削減し、精度の低下は見られなかった。
• CIFAR-10で35%、CIFAR-100で34%、TinyImageNetで33%のバックワードFLOPsを削減した。
• CIFAR-10で1.31%、CIFAR-100で1.98%、TinyImageNetで1.21%のCatastrophic forgettingがLUMPと比較して軽減された。
• 本手法は、評価されたすべてのデータセットおよびSSLフレームワークで、計算コストとメモリ使用量を大幅に削減しながら、精度を維持または向上させた。
• レイヤー凍結の意思決定はタスク間で極めて一貫しており、SSCLの表現が一般化され、凍結に対して頑健であることが示された。

Figure 3: The overlap of layer selection for different tasks