[論文レビュー] Rethinking the Representational Continuity: Towards Unsupervised Continual Learning.

Divyam Madaan, Jaehong Yoon+3 more|arXiv (Cornell University)|Oct 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 6

ひとこと要約

本論文は、自己教師あり継続的学習（UCL）のための「生涯自己教師ありミックスアップ（LUMP）」を提案し、自己教師あり表現が、教師あり表現よりも災難的忘却に対してより頑健で、一般化性能に優れることを示している。現在のタスクと過去のタスクのインスタンスとの間の補間を活用することで、LUMPはラベルを必要とせず表現の安定性を向上させ、継続的学習のシナリオにおいて優れた性能と滑らかな損失の地形を達成している。

ABSTRACT

Continual learning (CL) aims to learn a sequence of tasks without forgetting the previously acquired knowledge. However, recent advances in continual learning are restricted to supervised continual learning (SCL) scenarios. Consequently, they are not scalable to real-world applications where the data distribution is often biased and unannotated. In this work, we focus on unsupervised continual learning (UCL), where we learn the feature representations on an unlabelled sequence of tasks and show that reliance on annotated data is not necessary for continual learning. We conduct a systematic study analyzing the learned feature representations and show that unsupervised visual representations are surprisingly more robust to catastrophic forgetting, consistently achieve better performance, and generalize better to out-of-distribution tasks than SCL. Furthermore, we find that UCL achieves a smoother loss landscape through qualitative analysis of the learned representations and learns meaningful feature representations. Additionally, we propose Lifelong Unsupervised Mixup (LUMP), a simple yet effective technique that leverages the interpolation between the current task and previous tasks' instances to alleviate catastrophic forgetting for unsupervised representations.

研究の動機と目的

• 実世界の偏りのある、アノテーションのないデータを伴う設定において、教師あり継続的学習（SCL）のスケーラビリティの限界を解消すること。
• 自己教師あり視覚表現が、SCLよりも優れた継続的学習性能を達成できるかどうかを調査すること。
• 逐次的なタスク間で、自己教師あり特徴の表現の継続性と頑健性を分析すること。
• 災難的忘却を軽減する、シンプルでありながら効果的な手法、生涯自己教師ありミックスアップ（LUMP）を開発すること。

提案手法

• 著者たちは、自己教師あり継続的学習（UCL）シナリオで学習された特徴表現の体系的分析を実施した。
• 定性的および定量的指標を用いて、自己教師あり表現の災難的忘却に対する頑健性を評価した。
• 生涯自己教師ありミックスアップ（LUMP）を提案した。LUMPは、現在のタスクのデータと、以前に学習したタスクの表現とを補間する。
• LUMPは、生涯学習のシーケンス全体にわたり、ミックスアップ風のデータ拡張を適用し、訓練中に過去のタスクの特徴を参照ポイントとして用いる。
• この手法はラベルを一切必要とせず、学習の安定化と一般化性能の向上に特徴量レベルの補間に依存する。
• 同じバックボーンアーキテクチャを用いて、標準的な継続的学習ベンチマークでUCLとSCLを比較して評価した。

実験結果

リサーチクエスチョン

• RQ1 継続的学習の過程で、自己教師あり視覚表現は教師あり表現と比べて、災難的忘却に対してどれほど頑健であるか？
• RQ2 自己教師あり継続的学習における表現の継続性の性質は何か？ 一般化性能にどのように影響するか？
• RQ3 ラベルが存在しない状況で、現在のタスクと過去のタスクの表現との補間が、災難的忘却を効果的に軽減できるか？
• RQ4 継続的学習において、自己教師あり表現の損失の地形は、教師あり表現と比べてどのように異なるか？
• RQ5 自己教師あり表現は、分布外のタスクへどの程度一般化できるか？

主な発見

• 複数のベンチマークにおいて、自己教師あり視覚表現は、教師あり表現よりも災難的忘却に対してより頑健であることが示された。
• UCLは、SCLと比較して、分布外のタスクにおいてより優れた一般化性能を達成した。
• 自己教師あり表現の損失の地形は滑らかであり、より安定した最適化ダイナミクスと一般化可能性を示している。
• 生涯自己教師ありミックスアップ（LUMP）は、現在のタスクと過去のタスクの特徴量間の補間を活用することで、忘却を効果的に軽減した。
• 提案手法は、アノテーションデータを一切必要とせず、自己教師あり継続的学習分野で最先端の性能を達成した。