[論文レビュー] Representational Continuity for Unsupervised Continual Learning

Divyam Madaan, Jaehong Yoon+3 more|arXiv (Cornell University)|Oct 13, 2021

Domain Adaptation and Few-Shot Learning被引用数 28

ひとこと要約

本論文は、unsupervised continual learning (UCL) が supervised continual learning よりも忘却が少なく、より頑健な表現を生み出すことを示し、UCL の忘却をさらに緩和する単純な mixup ベースの手法 Lump を導入する。

ABSTRACT

Continual learning (CL) aims to learn a sequence of tasks without forgetting the previously acquired knowledge. However, recent CL advances are restricted to supervised continual learning (SCL) scenarios. Consequently, they are not scalable to real-world applications where the data distribution is often biased and unannotated. In this work, we focus on unsupervised continual learning (UCL), where we learn the feature representations on an unlabelled sequence of tasks and show that reliance on annotated data is not necessary for continual learning. We conduct a systematic study analyzing the learned feature representations and show that unsupervised visual representations are surprisingly more robust to catastrophic forgetting, consistently achieve better performance, and generalize better to out-of-distribution tasks than SCL. Furthermore, we find that UCL achieves a smoother loss landscape through qualitative analysis of the learned representations and learns meaningful feature representations. Additionally, we propose Lifelong Unsupervised Mixup (LUMP), a simple yet effective technique that interpolates between the current task and previous tasks' instances to alleviate catastrophic forgetting for unsupervised representations.

研究の動機と目的

• 実世界の未注釈データストリームにおける supervised continual learning のスケーラブルな代替として、unsupervised continual learning を動機づける。
• 逐次タスク設定における unsupervised 表現の振る舞いを系統的に分析し、なぜ忘却に対してより頑健である可能性があるかを検討する。
• UCL 表現の generalization および out-of-distribution タスクや few-shot シナリオへの転移性を評価する。
• 追加のハイパーパラメータや既存手法への大掛かりな変更を伴わず、忘却を緩和する単純で有効な手法（Lump）を提案する。

提案手法

• SimSiam および BarlowTwin の自己教師あり目的を UCL 設定に拡張し、Finetune および unsupervised 学習向けに適合させた DER 風ベースラインを研究する。
• 現在タスクのインスタンスと過去リプレイバッファのインスタンスを補間して忘却を低減する Lifelong Unsupervised Mixup (Lump) を提案する。
• 固定された ResNet-18 バックボーンと KNN 評価を用いて、Split CIFAR-10、CIFAR-100、Tiny-ImageNet 上で、正則化・アーキテクチャ・リハーサルベースの SCL ベースラインと UCL を比較する。
• CKA（centered kernel alignment）とパラメータ空間距離を用いて特徴表現を分析し、UCL と SCL の頑健性と損失地形の差を理解する。
• リプレイバッファの例を用いて表現の軌道を正則化する、UCL への DER の自己教師適応（UCL-DER）を提供する。

実験結果

リサーチクエスチョン

• RQ1 標準 CL ベンチマーク全体で、unsupervised continual learning は supervised continual learning より致命的な忘却に対してより頑健な表現を生み出すだろうか。
• RQ2 UCL 表現は SCL と比較して out-of-distribution タスクや few-shot シナリオへどのように転移するか。
• RQ3 ラベルなしで UCL を簡易なリハーサルベース戦略で強化できるか、そして mixup ベースの補間は忘却を改善するか。
• RQ4 CKA の特徴的な類似性分析と損失地形の分析は、UCL と SCL で学習された表現の性質について何を示しているか。
• RQ5 Lump は複数のデータセットとタスクにわたり UCL の忘却を効果的に緩和するか。

主な発見

• unsupervised 表現は一貫して忘却を低く、Split CIFAR-10、CIFAR-100、Tiny-ImageNet を通じて supervised 表現と比較して競争的または高い精度を示す。
• UCL での Finetune は多くの SCL 戦略を上回ることが多く、Lump は追加の gains を提供する（例: CIFAR-100 で 2.8%、Tiny-ImageNet で 5.9% の精度向上、特定の設定で）。
• BarlowTwins および SimSiam ベースの UCL 表現は、データセットを横断して SCL ベースラインよりはるかに忘却が小さい。
• CKA 分析は、UCL モデルが下位層で高い特徴類似性を持ち、UCL と SCL の表現は主に高位層で異なることを示し、UCL はより人間の知覚特徴を学習する傾向がある。
• UCL は SCL より平坦で滑らかな損失地形を生み、最適化の安定性と一般化が大きいことを示唆する。
• Lump は現在タスクとリプレイバッファのインスタンス間の単純な mixup ベースの補間である Lump は、計算オーバーヘッドがほとんどなく追加のハイパーパラメータもなく、UCL の忘却を効果的に緩和し、複数のデータセットで複数のベースラインを上回る。
• UCL 表現は out-of-distribution データセット（MNIST, FMNIST, SVHN）への一般化がより良く、few-shot シナリオでの利点を示し、Lump は高い性能を維持する。