[論文レビュー] Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning

Zheda Mai, Ruiwen Li+2 more|arXiv (Cornell University)|Mar 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 10

ひとこと要約

本稿では、標準的なソフトマックス分類器に代えて最近傍クラス平均（NCM）分類器を採用し、再プレイ中に教師付き対照損失を用いることで埋め込みのクラスタリングを向上させる、新しいオンラインクラス増分継続的学習手法である監視付き対照リプレイ（SCR）を提案する。SCRは著しく災難的忘却を低減し、CIFAR-100およびMini-ImageNetで最先端手法を最大15.4%の精度向上で上回る。

ABSTRACT

Online class-incremental continual learning (CL) studies the problem of learning new classes continually from an online non-stationary data stream, intending to adapt to new data while mitigating catastrophic forgetting. While memory replay has shown promising results, the recency bias in online learning caused by the commonly used Softmax classifier remains an unsolved challenge. Although the Nearest-Class-Mean (NCM) classifier is significantly undervalued in the CL community, we demonstrate that it is a simple yet effective substitute for the Softmax classifier. It addresses the recency bias and avoids structural changes in the fully-connected layer for new classes. Moreover, we observe considerable and consistent performance gains when replacing the Softmax classifier with the NCM classifier for several state-of-the-art replay methods. To leverage the NCM classifier more effectively, data embeddings belonging to the same class should be clustered and well-separated from those with a different class label. To this end, we contribute Supervised Contrastive Replay (SCR), which explicitly encourages samples from the same class to cluster tightly in embedding space while pushing those of different classes further apart during replay-based training. Overall, we observe that our proposed SCR substantially reduces catastrophic forgetting and outperforms state-of-the-art CL methods by a significant margin on a variety of datasets.

研究の動機と目的

• ソフトマックス分類器のクラス不均衡への感受性に起因する、オンラインクラス増分継続的学習における最近性バイアス問題に対処する。
• 継続的学習におけるソフトマックスの代替として、構造が単純で頑健な、未だ十分に活用されていない最近傍クラス平均（NCM）分類器の再評価を行う。
• 再プレイ中にクラスごとの分離性を明示的に学習することで、埋め込み空間のクラスタリングを改善し、一般化性能および分類器性能を向上させる。
• 新しいクラスが追加される際、アーキテクチャの変更なしに高い精度を維持できる、メモリ効率が良く、計算コストが低い手法の開発

提案手法

• クラス増分学習における完全結合層の構造的変更を回避するため、標準的なソフトマックス分類器に代えて最近傍クラス平均（NCM）分類器を採用する。
• 再プレイ中に教師付き対照損失を適用し、埋め込み空間におけるクラス内凝集性とクラス間分離性を促進する。
• 入力データバッチとバッファドメモリサンプルの両方から表現を生成するために、共有エンコーダーとプロジェクションヘッドを用いる。
• 推論時にはプロジェクションヘッドを破棄し、バッファドサンプルからのクラス平均を計算することで、NCMに基づく分類を実現する。
• 訓練の安定性を維持するため、データストリームとメモリバッファからバランスの取れたバッチサンプリングを行うランダム化メモリリプレイ戦略を採用する。
• 温度ハイパーパrameter τ を用いて対照損失を最適化し、異なるプロジェクションヘッド設計（MLP、線形、なし）の効果を評価する。

Figure 1: An overview of SCR. During training, an input batch is created by concatenating the minibatch $B_{n}$ from the data stream with another minibatch $B_{\mathcal{M}}$ from the memory buffer $\mathcal{M}$ . The input batch and its augmented view are encoded by a shared encoder and projection h

実験結果

リサーチクエスチョン

• RQ1 最近傍クラス平均（NCM）分類器は、特に最近性バイアスの緩和に寄与する場合、オンラインクラス増分継続的学習においてソフトマックス分類器を上回ることができるか？
• RQ2 NCM分類器と組み合わせた場合、教師付き対照学習は、学習された埋め込みの質をどのように向上させるか？
• RQ3 メモリバッファのサイズとサンプリング戦略は、提案されたSCRフレームワークの性能にどのような影響を及ぼすか？
• RQ4 NCMと対照的リプレイの組み合わせは、多様なデータセットおよびメモリ設定において一貫した性能向上をもたらすか？
• RQ5 最先端のリプレイベース継続的学習手法と比較して、SCRは効率性と精度の両面で優れているか？

主な発見

• Mini-ImageNetでは35.4%の精度を達成し、最良のベースライン（MIR-NCM）比で13.3%の向上を示し、顕著な性能向上を確認した。
• CIFAR-100では65.7%の精度に到達し、最も強力なベースライン比で15.4%の相対的向上を示し、異なるデータセットにおいても有効性を裏付けた。
• SCRはタスクの最近性バイアスを著しく低減しており、クラス不均衡が存在する状況でも、標準的なリプレイ手法とは異なり、最小限のバイアスが観察された。
• 計算効率を維持しており、全訓練および推論時間はASERを下回り、MIRと比較してわずかに長いにとどまった。
• 異なるメモリバッファサイズにおいても性能向上が一貫しており、大きなバッファ（例：M=5k）では最大60.2%の相対的向上が得られた。
• アブレーションスタディの結果、対照学習は最大200までの大きなメモリバッチサイズで利益をもたらすが、過学習が生じる高サイズ（例：500または1000）では性能が低下することがわかった。

(a) ER