[論文レビュー] Co$^2$L: Contrastive Continual Learning

Hyuntak Cha, Jaeho Lee+1 more|arXiv (Cornell University)|Jun 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 1被引用数 6

ひとこと要約

Co$^2$L は、対照的表現学習とインスタンス単位の関係 distillation を活用して、継続的学習における深刻な忘却を軽減するリハーよりの継続的学習フレームワークを提案する。非対称な教師あり対照的損失と特徴類似度の自己 distillation を用いることで、Co$^2$L はクラス増分学習ベンチマークで最先端の性能を達成し、共同訓練ベースラインを大きく上回る。

ABSTRACT

Recent breakthroughs in self-supervised learning show that such algorithms learn visual representations that can be transferred better to unseen tasks than joint-training methods relying on task-specific supervision. In this paper, we found that the similar holds in the continual learning con-text: contrastively learned representations are more robust against the catastrophic forgetting than jointly trained representations. Based on this novel observation, we propose a rehearsal-based continual learning algorithm that focuses on continually learning and maintaining transferable representations. More specifically, the proposed scheme (1) learns representations using the contrastive learning objective, and (2) preserves learned representations using a self-supervised distillation step. We conduct extensive experimental validations under popular benchmark image classification datasets, where our method sets the new state-of-the-art performance.

研究の動機と目的

• 対照的に学習された表現が、継続的学習において共同訓練された表現よりも、深刻な忘却に対してより頑健であるかどうかを調査すること。
• 分離された表現-分類器設定において、転送可能な表現を明示的に学習・保持するリハーサルベースの継続的学習アルゴリズムを設計すること。
• 継続的学習における情報豊富なネガティブサンプルのアクセス制限に取り組むために、バッファリングされたサンプルを効果的に活用する非対称な対照的損失を提案すること。
• 共同訓練された分類器に依存せずに、学習済みの表現を保持する新しい自己 distillation メカニズムであるインスタンス単位の関係 distillation (IRD) を導入すること。
• 標準的および理想化された設定下で、複数の継続的学習ベンチマークにおいて、対照的学習と IRD の有効性を実証的に検証すること。

提案手法

• 本手法は、現在のタスクのサンプルをアンカーとし、バッファリングされた過去のサンプルをポジティブペアとして扱う非対称な教師あり対照的損失（SupCon）を採用し、クラス増分制約下で表現の質を向上させる。
• 本手法は、現在のモデルと過去のモデルのインスタンス単位の類似度行列間のずれを最小化する自己 distillation 損失であるインスタンス単位の関係 distillation (IRD) を導入し、学習済みの特徴関係を保持する。
• フレームワークは非対称 SupCon 損失と IRD 損失を重み付き和として組み合わせ、タスク間で安定性を保ちながら表現の継続的学習を可能にする。
• モデルは、メモリバッファを用いて過去のサンプルを少量保存し、非対称な対照的学習および IRD 損失の計算に使用する。
• 表現ヘッドと分類器ヘッドは分離された形で訓練され、表現ヘッドは対照的学習および distillation を通じて継続的に更新され、分類器は各タスクごとにファインチューニングされる。
• 本手法は、CIFAR-10、CIFAR-100、Tiny-ImageNet における標準的なクラス増分学習（class-IL）およびタスク増分学習（task-IL）設定で評価される。

実験結果

リサーチクエスチョン

• RQ1 対照的表現学習は、継続的学習において共同学習と比較して、より転送可能で忘却に強い表現をもたらすか？
• RQ2 完全なクラスレベルの教師信号が得られない状況下で、非対称な対照的損失がバッファリングされたサンプルをポジティブペアとして効果的に活用できるか？
• RQ3 インスタンス単位の関係 distillation (IRD) は、共同訓練された分類器に依存せずに、学習済みの表現を効果的に保持できるか？
• RQ4 非対称 SupCon 損失と IRD 損失は、継続的学習性能の向上においてどのように補い合うか？
• RQ5 提案された Co$^2$L フレームワークは、多様な継続的学習ベンチマークで最先端の性能を達成するか？

主な発見

• Seq-CIFAR-10 におけるクラス-IL において、Co$^2$L は 65.57% の精度を達成し、ベースラインの SupCon 損失（60.49%）および他の最先端手法を大きく上回った。
• 非対称 SupCon 損失は、t-SNE 視覚化における特徴クラスタリングの質の向上により、表現の質の向上を示した。バッファリングされたサンプルが、全クラス分布をよりよく代表していることが明らかになった。
• IRD 単体でも、バッファなしの Seq-CIFAR-10 で精度が 5.64 パcentポイント（53.25% から 58.89%）上昇し、表現の保持に有効であることが示された。
• 非対称 SupCon と IRD の組み合わせにより、Seq-CIFAR-10 で最高の性能（65.57%）が達成され、両者の成分が補い合い、不可欠であることが示された。
• 無限バッファの理想状態では、IRD が対称的および非対称な SupCon 間の性能差を埋め、バッファリングされたサンプルの利活用を最大化する役割を果たすことが証明された。
• Seq-Tiny-ImageNet では、500 個のバッファサンプルで Co$^2$L が 20.12% の精度を達成し、元の SupCon（19.68%）を上回り、大規模データセットへのスケーラビリティを示した。