[논문 리뷰] Self-Supervised Learning Aided Class-Incremental Lifelong Learning

Song Zhang, Gehui Shen외 2명|arXiv (Cornell University)|2020. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 8

한 줄 요약

이 논문은 클래스 증분 수명 학습에서 과거 작업 데이터가 부재함으로써 연합 분류에 유용한 특징을 유지하지 못하는 문제인 이전 정보 손실(PIL)을 중요한 그러나 간과된 문제로 규명한다. 모델이 과거 작업 데이터 없이도 유용한 특징을 유지할 수 있도록, 예를 들어 회전 예측과 같은 프록시 작업을 통한 자기지도 학습(SSL)을 통합하여 손실된 특징을 복구함으로써 기존 최고 수준의 OWM 대비 성능을 크게 향상시킨다. 특히 작업 수가 증가할수록 성능 향상이 두드러진다.

ABSTRACT

Lifelong or continual learning remains to be a challenge for artificial neural network, as it is required to be both stable for preservation of old knowledge and plastic for acquisition of new knowledge. It is common to see previous experience get overwritten, which leads to the well-known issue of catastrophic forgetting, especially in the scenario of class-incremental learning (Class-IL). Recently, many lifelong learning methods have been proposed to avoid catastrophic forgetting. However, models which learn without replay of the input data, would encounter another problem which has been ignored, and we refer to it as prior information loss (PIL). In training procedure of Class-IL, as the model has no knowledge about following tasks, it would only extract features necessary for tasks learned so far, whose information is insufficient for joint classification. In this paper, our empirical results on several image datasets show that PIL limits the performance of current state-of-the-art method for Class-IL, the orthogonal weights modification (OWM) algorithm. Furthermore, we propose to combine self-supervised learning, which can provide effective representations without requiring labels, with Class-IL to partly get around this problem. Experiments show superiority of proposed method to OWM, as well as other strong baselines.

연구 동기 및 목표

• 과거 작업 데이터가 없는 상황에서 연합 분류에 유용한 특징을 학습하지 못하는 문제인 이전 정보 손실(PIL)을 규명하고 분석하는 것.
• 기울기 기반의 기울기 수정(OWM)과 같은 최신 기법들조차도 치명적인 기억 상실이 완화된 상태에서도 PIL로 인해 성능이 심각하게 제한됨을 입증하는 것.
• 자기지도 학습(SSL)과 수직 가중치 수정(OWM)을 새로운 방식으로 통합하여 손실된 과거 지식을 복구하고 모든 작업에 걸쳐 일반화 성능을 향상시키는 방법을 제안하는 것.
• 레이블이 없는 이전 작업 데이터를 요구하지 않고도 특징 표현을 향상시키는 다양한 SSL 프록시 작업(예: 회전 예측, RGB 재배열)의 효과를 평가하는 것.

제안 방법

• 감독 분류 손실과 프록시 작업(예: 이미지 회전 예측)에서 유도된 자기지도 대비 손실을 조합한 새로운 학습 목표를 도입한다.
• 다양한 증강된 시각을 평균하여 최종 예측을 내는 방식인 SDA+AG(자기지도 증강과 집합) 전략의 수정된 버전을 사용하여 안정성을 향상시킨다.
• 증강된 입력에 대해 다중 변환(예: 회전, RGB 재배열)을 적용하고, 모델이 변환 유형을 예측하도록 하여 증강된 입력에 대해 SSL 신호를 적용한다.
• 이중 브랜치 네트워크 아키텍처를 사용한다: 하나의 브랜치는 분류를 위해, 다른 하나는 자기지도 프록시 작업을 위해 설계되며, 특징 인코더는 공유한다.
• OWM와 SSL을 결합한 연합 손실을 사용한다: $L_t(x_t, y_t; \theta_t, \beta_t, \rho_t) = \sum_{m=1}^M \left[ L_{ce}(C(E(f_m(x_t); \theta_t); \beta_t), y_t) + \alpha_t L_{ce}(F(E(f_m(x_t); \theta_t); \rho_t), m) \right] $, 여기서 $F$는 변환 유형을 예측하고 $C$는 분류를 수행한다.
• 예측을 위한 앙상블 평균을 적용한다: $p(y_{\leq t}|x_{\leq t}, \theta_t, \phi_t) = \frac{1}{M} \sum_{m=1}^M C(E(f_m(x_{\leq t})), \theta_t), \phi_t) $, 이는 모든 작업에 걸쳐 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 과거 정보 손실(PIL)이 OWM과 같은 최신 클래스 증분 학습 기법의 성능을 어느 정도 저하시키는가?
• RQ2 자기지도 학습(SSL)이 현재 작업 최적화에는 필요하지 않지만 연합 분류에 필수적인 손실된 특징을 효과적으로 복구할 수 있는가?
• RQ3 회전 예측, RGB 재배열과 같은 SSL 프록시 작업 중에서 어떤 것이 과거 데이터 재현 없이도 지속적 학습에서 가장 효과적인 성능 향상을 이끌어내는가?
• RQ4 작업 수가 증가함에 따라 OWM+SSL의 성능이 OWM 및 기타 기준 대비 어떻게 변화하는가?
• RQ5 OWM와 SSL의 통합이 PIL로 인한 성능 격차를 완화시키는가? 만약 그렇다면, 개선 효과가 가장 두드러지는 조건은 무엇인가?

주요 결과

• PIL은 작업 수가 증가할수록 OWM의 성능을 심각하게 저하시키며, OWM와 OWM+FR 간의 정확도 격차는 시간이 지남에 따라 점점 커진다.
• 10개 작업을 가진 CIFAR100에서 OWM+SSL(회전 예측)은 평균 정확도 71.82%를 기록했고, OWM의 64.11% 대비 뚜렷한 향상을 보였다.
• 5개 작업을 가진 SVHN에서는 OWM+SSL(회전)이 82.08%의 정확도를 달성했으며, OWM의 74.32% 대비 7.76% 향상되어 저샘플, 고변동 환경에서도 강력한 성능 향상을 입증했다.
• 프록시 작업으로서의 회전 예측이 RGB 재배열보다 우수했으며, RGB 재배열은 CIFAR10에서는 약간의 성능 향상을 보였지만 SVHN에서는 성능을 떨어뜨렸다. 이는 작업에 적합한 SSL 신호가 핵심임을 시사한다.
• OWM+SAA(자기지도 증강과 집합)는 OWM+SSL보다 더 안정적인 성능을 보였지만, 정점 정확도는 낮아, 안정성과 효과성 사이의 상충 관계가 있음을 보여준다.
• OWM와 OWM+FR 간의 성능 격차는 작업 수가 증가함에 따라 커지며, 과거 데이터에 접근할 수 없음에도 지식이 축적됨에 따라 PIL이 점점 더 심각해짐을 확인했다.