[논문 리뷰] Continual Semi-Supervised Learning through Contrastive Interpolation Consistency

Matteo Boschini, Pietro Buzzega외 3명|arXiv (Cornell University)|2021. 08. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 32

한 줄 요약

이 논문은 경험 재생과 대조적 일致성 정규화를 조합하여 비감독 데이터를 활용하는 연속적 준감독 학습(연속적 준감독 학습, CSSL)을 위한 새로운 방법인 대비 연속적 보간 일치성(CCIC)을 제안한다. 놀랍게도 CCIC는 라벨이 25%에 불과한 조건에서도 기존 최고 성능(SOTA)의 완전 감독 학습 방법을 능가하는 성능을 달성하여, 제한된 감독과 효과적인 준감독 정규화를 조합하면 연속적 학습 환경에서 완전 감독보다 더 나은 성능을 낼 수 있음을 보여준다.

ABSTRACT

Continual Learning (CL) investigates how to train Deep Networks on a stream of tasks without incurring forgetting. CL settings proposed in literature assume that every incoming example is paired with ground-truth annotations. However, this clashes with many real-world applications: gathering labeled data, which is in itself tedious and expensive, becomes infeasible when data flow as a stream. This work explores Continual Semi-Supervised Learning (CSSL): here, only a small fraction of labeled input examples are shown to the learner. We assess how current CL methods (e.g.: EWC, LwF, iCaRL, ER, GDumb, DER) perform in this novel and challenging scenario, where overfitting entangles forgetting. Subsequently, we design a novel CSSL method that exploits metric learning and consistency regularization to leverage unlabeled examples while learning. We show that our proposal exhibits higher resilience to diminishing supervision and, even more surprisingly, relying only on 25% supervision suffices to outperform SOTA methods trained under full supervision.

연구 동기 및 목표

• 라벨이 극히 소수인 상황에서 연속적 학습에서 치명적인 기억 상실(catastrophic forgetting) 문제를 해결하기 위해.
• 연속적 학습 환경에서 낮은 감독 조건에서 준감독 학습 기법이 성능 향상에 효과적으로 기여할 수 있는지 탐색하기 위해.
• 증강된 태스크 학습 과정에서 감독 및 비감독 학습을 통합적으로, 종단간(end-to-end)으로 설계하는 새로운 방법을 제안하기 위해.
• 적절한 일관성 정규화와 결합된 제한된 라벨링이 연속적 학습 환경에서 완전 감독보다 더 효과적일 수 있음을 입증하기 위해.

제안 방법

• CCIC는 경험 재생을 바탕으로 하며, 이전 예시를 메모리 버퍼에 저장하여 사용한다.
• 동일한 입력의 증강된 뷰들 간의 일관성을 대조 손실을 통해 강제하여 강건한 특징 학습을 촉진한다.
• 보간 일관성(interpolation consistency)을 도입하여, 라벨이 있는 예제와 비라벨 예제 사이의 표현을 특징 공간에서 유사하게 정규화한다.
• 이전 태스크의 예제들에서 음성 샘플을 선택하기 위해 태스크 간 마이닝 기법을 사용하여 현재 샘플의 특징과의 거리를 벌린다.
• 시간적 일관성 기반 설정으로 모델 가중치의 지수 이동 평균을 사용하지만, 이는 다른 구성 요소들에 비해 성능이 열 劣하다.
• 감독된 교차 엔트로피 손실, 대조 손실, 보간 일관성 손실을 조합하여 종단간(end-to-end)으로 프레임워크를 훈련한다.

실험 결과

연구 질문

• RQ1 준감독 학습 기법이 낮은 감독 조건에서 연속적 학습 성능 향상에 기여할 수 있는가?
• RQ2 라벨이 있는 데이터와 비라벨 데이터를 번갈아가며 통합적으로 훈련하는 통합 훈련 체계가 별도의 훈련 단계보다 성능이 뛰어나게 되는가?
• RQ3 대조 학습 기반의 일관성 정규화가 제한된 라벨 조건에서 연속적 학습에서 기억 상실 문제를 완화할 수 있는가?
• RQ4 25%의 라벨만으로도 완전 감독 학습으로 훈련된 SOTA 방법을 능가할 수 있는가?
• RQ5 음성 샘플 마이닝 전략의 선택이 CSSL 환경에서 성능에 어떤 영향을 미치는가?

주요 결과

• CCIC는 CIFAR-100에서 라벨 25%와 버퍼 크기 5120 조건에서 평균 84.7%의 정확도를 달성하여 SOTA 완전 감독 방법을 능가한다.
• 라벨 비율을 0.8%로 낮춘 경우에도 CCIC는 CIFAR-100에서 55.2%의 정확도를 유지하지만, ER은 25.9%로 급격히 하락하여 라벨 부족에 대한 더 뛰어난 내성성을 보인다.
• SVHN 데이터셋에서 버퍼 크기 5120, 라벨 비율 25% 조건에서 CCIC는 84.7%의 정확도를 기록하여 SOTA 완전 감독 결과를 초월한다.
• CCIC의 경우 25%에서 0.8%로 라벨 비율이 감소할 때 평균 정확도 감소율은 26%에 불과하지만, ER은 47%로 상대적으로 더 큰 감소를 보여, 감소하는 라벨 비율에 대한 더 뛰어난 저항성을 입증한다.
• 태스크 독립적 및 태스크 내 마이닝 전략은 태스크 간 마이닝 전략에 비해 성능이 열 劣하여, 태스크 인식 기반 음성 샘플 선택의 중요성을 확인한다.
• 지수 이동 평균을 사용한 일관성 정규화는 모든 다른 구성 요소보다 성능이 열 劣하여, 연속적 학습 환경에서는 이 방법이 덜 효과적임을 시사한다.