[논문 리뷰] Rethinking the Representational Continuity: Towards Unsupervised Continual Learning.

Divyam Madaan, Jaehong Yoon외 3명|arXiv (Cornell University)|2021. 10. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 6

한 줄 요약

이 논문은 비지도 지속적 학습(UCL)을 위한 지속적 비지도 믹스업(Lifelong Unsupervised Mixup, LUMP)을 제안하며, 비지도 표현이 지도 학습 대비 더 강건하고 일반화 능력이 뛰어나다는 것을 입증한다. 현재와 이전 태스크의 인스턴스 간의 보간을 활용함으로써 LUMP은 레이블이 없이도 표현의 안정성을 향상시켜 지속적 학습 환경에서 뛰어난 성능과 더 부드러운 손실 곡면을 달성한다.

ABSTRACT

Continual learning (CL) aims to learn a sequence of tasks without forgetting the previously acquired knowledge. However, recent advances in continual learning are restricted to supervised continual learning (SCL) scenarios. Consequently, they are not scalable to real-world applications where the data distribution is often biased and unannotated. In this work, we focus on unsupervised continual learning (UCL), where we learn the feature representations on an unlabelled sequence of tasks and show that reliance on annotated data is not necessary for continual learning. We conduct a systematic study analyzing the learned feature representations and show that unsupervised visual representations are surprisingly more robust to catastrophic forgetting, consistently achieve better performance, and generalize better to out-of-distribution tasks than SCL. Furthermore, we find that UCL achieves a smoother loss landscape through qualitative analysis of the learned representations and learns meaningful feature representations. Additionally, we propose Lifelong Unsupervised Mixup (LUMP), a simple yet effective technique that leverages the interpolation between the current task and previous tasks' instances to alleviate catastrophic forgetting for unsupervised representations.

연구 동기 및 목표

• 왜곡되거나 레이블이 없는 데이터가 많은 실세계 환경에서 지도 지속적 학습(SCL)의 확장성 한계를 해결하기 위해.
• 비지도 시각적 표현이 SCL에 비해 더 나은 지속적 학습 성능을 달성할 수 있는지 조사하기 위해.
• 순차적 태스크 간 비지도 특징의 표현 연속성과 강건성 분 析하기 위해.
• 치명적 잊음 문제를 완화하기 위한 단순하면서도 효과적인 방법인 지속적 비지도 믹스업(Lifelong Unsupervised Mixup, LUMP) 개발하기 위해.

제안 방법

• 저자는 비지도 지속적 학습(UCL) 환경에서 학습된 특징 표현을 체계적으로 분석한다.
• 정성적 및 정량적 지표를 사용하여 비지도 표현이 치명적 잊음에 얼마나 강건한지 평가한다.
• 현재 태스크 데이터와 이전에 학습된 태스크의 표현 간에 보간을 수행하는 Lifelong Unsupervised Mixup(LUMP)을 제안한다.
• LUMP은 수명 주기 동안 지속적 학습 시퀀스에 걸쳐 믹스업 스타일 데이터 증강을 적용하며, 학습 중에 이전 태스크의 특징을 기준점으로 활용한다.
• 이 방법은 레이블 없이도 특징 수준의 보간에 의존하여 학습 안정성 향상과 일반화 능력 향상을 달성한다.
• 동일한 백본 아키텍처를 사용하여 UCL과 SCL을 비교하는 표준 지속적 학습 벤치마크에서 이 방법을 평가한다.

실험 결과

연구 질문

• RQ1 지속적 학습 중 치명적 잊음에 대한 강건성 측면에서 비지도 시각적 표현은 지도 표현에 비해 어떻게 비교되는가?
• RQ2 비지도 지속적 학습에서 표현 연속성의 본질은 무엇이며, 일반화에 어떤 영향을 미치는가?
• RQ3 레이블이 없이도 현재와 이전 태스크 표현 간의 보간이 치명적 잊음 문제를 효과적으로 완화할 수 있는가?
• RQ4 지속적 학습에서 비지도 표현의 손실 곡면은 지도 표현에 비해 어떻게 비교되는가?
• RQ5 비지도 표현은 분포 외 태스크로의 일반화 능력이 어느 정도까지 뛰어나게 되는가?

주요 결과

• 다양한 벤치마크에서 비지도 시각적 표현은 지도 표현에 비해 치명적 잊음에 더 강건하다.
• UCL은 SCL에 비해 분포 외 태스크에서 더 나은 일반화 성능을 달성한다.
• 비지도 표현의 손실 곡면은 더 부드럽다. 이는 더 안정적이고 일반화 가능한 최적화 역학을 의미한다.
• 지속적 비지도 믹스업(Lifelong Unsupervised Mixup, LUMP)은 현재 태스크와 이전 태스크의 특징 간 보간을 활용하여 잊음 문제를 효과적으로 감소시킨다.
• 제안된 방법은 어떤 레이블 데이터도 필요로 하지 않으면서도 비지도 지속적 학습 분야에서 최고 성능을 달성한다.