[論文レビュー] Kaizen: Practical Self-supervised Continual Learning with Continual Fine-tuning

Chi Ian Tang, Lorena Qendro+4 more|arXiv (Cornell University)|Mar 30, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

Kaizen は、継続的知識蒸留を組み合わせた新しい損失関数を用いて、各タスクでラベルなしデータとラベル付きデータの両方を同時に活用することで、特徴抽出器と分類器を共同で学習する実用的な自己教師付き継続的学習フレームワークを提案する。Split CIFAR-100 において、先行手法と比較して最大で16.5%高い精度と25.4%低い忘却を達成し、知識の保持と新規タスク学習の両立をエンドツーエンドで最適化することで、自己教師付き継続的学習の最先端モデルを上回る性能を発揮する。

ABSTRACT

Self-supervised learning (SSL) has shown remarkable performance in computer vision tasks when trained offline. However, in a Continual Learning (CL) scenario where new data is introduced progressively, models still suffer from catastrophic forgetting. Retraining a model from scratch to adapt to newly generated data is time-consuming and inefficient. Previous approaches suggested re-purposing self-supervised objectives with knowledge distillation to mitigate forgetting across tasks, assuming that labels from all tasks are available during fine-tuning. In this paper, we generalize self-supervised continual learning in a practical setting where available labels can be leveraged in any step of the SSL process. With an increasing number of continual tasks, this offers more flexibility in the pre-training and fine-tuning phases. With Kaizen, we introduce a training architecture that is able to mitigate catastrophic forgetting for both the feature extractor and classifier with a carefully designed loss function. By using a set of comprehensive evaluation metrics reflecting different aspects of continual learning, we demonstrated that Kaizen significantly outperforms previous SSL models in competitive vision benchmarks, with up to 16.5% accuracy improvement on split CIFAR-100. Kaizen is able to balance the trade-off between knowledge retention and learning from new data with an end-to-end model, paving the way for practical deployment of continual learning systems.

研究の動機と目的

• 過去のタスクのラベル付きデータが利用できない現実的制約下で、自己教師付き継続的学習（CSSL）における深刻な忘却問題を解決すること。
• 各タスクでラベルなしデータとラベル付きデータの両方を用いたエンドツーエンドの訓練を可能にするフレームワークを設計し、継続的学習プロセスの任意の段階でのデプロイを可能とすること。
• 特徴抽出と分類器のファインチューニングを統合した訓練目的関数により、知識の保持と新規データからの学習のバランスを取ること。
• 現実的な仮定に基づき、継続的精度、最終精度、忘却、前向き伝達の包括的指標を用いて評価すること。
• 特徴と分類器ヘッドの両方で継続的知識蒸留を実施することで、実世界の継続的学習シナリオにおける性能と安定性が顕著に向上することを示すこと。

提案手法

• 特徴抽出器と分類器ヘッドの両方に対して、対照的自己教師付き学習と知識蒸留を統合した新しい訓練目的関数を導入する。
• 二重ストリームの知識蒸留メカニズムを採用：特徴エンコーダーにはモーメンタム平均の学生・教師ネットワークを、分類器には過去のタスク予測からのソフトラベルを用いる。
• 再利用可能なバッファを用い、設定可能なサイズで過去データを保存・再利用することで、完全な再訓練を必要とせずに知識保持を向上させる。
• 各タスクで、対照的事前学習用のラベルなしデータと、分類器適応・蒸留用のラベル付きデータを用いて継続的ファインチューニングを実行する。
• 自己教師付き対照的学習、特徴表現用の蒸留損失、分類ヘッド予測用の蒸留損失を統合した損失関数を設計する。
• 任意の段階で機能する分類器を備えたデプロイを可能にし、実世界での実用的応用を支援する。

実験結果

リサーチクエスチョン

• RQ1 過去のタスクのラベル付きデータが入手不可である状況下でも、自己教師付き継続的学習フレームワークが深刻な忘却を効果的に軽減できるか？
• RQ2 各タスクでラベルなしデータとラベル付きデータの両方を用いた継続的ファインチューニングは、標準的なSSLまたは教師ありCL手法と比較して、性能をどのように向上させるか？
• RQ3 特徴ヘッドと分類器ヘッドの両方で同時蒸留を実施することで、忘却の低減と新規タスクでの高い精度維持の両立はどの程度達成されるか？
• RQ4 実用的な継続的学習環境において、知識保持、前向き伝達、リプレイデータサイズの間のトレードオフはどのようなものか？
• RQ5 複数の評価指標を用いて、提案手法は最先端のSSLおよび継続的学習ベースラインと比較して、どのように優れているか？

主な発見

• Kaizen は、バックボーンに MoCoV2+ を使用した場合、Split CIFAR-100 で先行する自己教師付き継続的学習手法と比較して、最大で16.5%の絶対的な精度向上を達成する。
• 全評価対象のSSL技術において、忘却指標でベースライン手法と比較して25.4%の忘却低減を達成する。
• MoCoV2+ をバックボーンとして使用した場合、Kaizen は最終精度 0.570、継続的精度 0.409 を達成し、次に優れた手法（CaSSLe）と比較してそれぞれ 0.138 と 0.088 ずつ顕著に上回る。
• リプレイデータを一切使用しない（0%リプレイ）状況下でも、Kaizen は強固な性能を維持しており、厳しいデータ制約下での頑健性を示している。
• リプレイデータサイズを増加させることで精度が向上し、忘却が低減するが、同時に前向き伝達が低下する傾向にあり、システム設計における重要なトレードオフを示している。
• Kaizen は前向き伝達が負の値を示しており、知識保持と新規タスク学習の間のトレードオフが存在することを示唆しているが、評価されたすべての手法の中で最も良好な全体的なバランスを達成している。