[논문 리뷰] ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning

Liyuan Wang, Kuo Yang외 4명|arXiv (Cornell University)|2021. 01. 02.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

ORDisCo는 분류기와 조건부 GAN을 공동으로 훈련시켜 증분 레이블이 없는 데이터를 효과적이고 효율적으로 활용할 수 있는 새로운 프레임워크를 제안한다. 생성된 샘플의 온라인 리플레이와 디스크림이너 일관성 정규화를 통해 ORDisCo는 레이블이 없는 데이터에 대한 치명적인 잊음 문제를 완화하며, SVHN, CIFAR10, Tiny-ImageNet에서 최신 기술 수준의 성능을 달성하여 강력한 베이스라인 대비 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

Continual learning usually assumes the incoming data are fully labeled, which might not be applicable in real applications. In this work, we consider semi-supervised continual learning (SSCL) that incrementally learns from partially labeled data. Observing that existing continual learning methods lack the ability to continually exploit the unlabeled data, we propose deep Online Replay with Discriminator Consistency (ORDisCo) to interdependently learn a classifier with a conditional generative adversarial network (GAN), which continually passes the learned data distribution to the classifier. In particular, ORDisCo replays data sampled from the conditional generator to the classifier in an online manner, exploiting unlabeled data in a time- and storage-efficient way. Further, to explicitly overcome the catastrophic forgetting of unlabeled data, we selectively stabilize parameters of the discriminator that are important for discriminating the pairs of old unlabeled data and their pseudo-labels predicted by the classifier. We extensively evaluate ORDisCo on various semi-supervised learning benchmark datasets for SSCL, and show that ORDisCo achieves significant performance improvement on SVHN, CIFAR10 and Tiny-ImageNet, compared to strong baselines.

연구 동기 및 목표

• 부분적으로 레이블이 부여된 증분 데이터에서 준지도 지속적 학습(SSCL) 환경에서 레이블이 없는 데이터에 대한 치명적인 잊음 문제를 해결하기 위해.
• 최소한의 저장 및 계산 비용으로 대량의 레이블이 없는 데이터를 지속적 학습 환경에서 효과적이고 효율적으로 활용할 수 있는 방법을 개발하기 위해.
• 분류기와 조건부 GAN을 공동으로 훈련시켜 SSCL 환경에서 분류 정확도와 조건부 이미지 생성 품질을 모두 향상시키기 위해.
• 오래된 레이블이 없는 데이터와 그들의 의사 레이블을 유지하기 위해 핵심 디스크림이너 파라미터를 선택적으로 안정화하는 메커니즘을 도입하기 위해.

제안 방법

• ORDisCo는 분류기와 조건부 GAN 간의 최소 최대 대립 게임으로 학습 과정을 수립하여 분류 및 생성 작업의 공동 최적화를 가능하게 한다.
• 조건부 생성기에서 샘플된 데이터의 온라인 리플레이를 활용해 분류기에 전달함으로써 시간과 저장 공간 효율적인 레이블이 없는 데이터 활용을 실현한다.
• 오래된 레이블이 없는 데이터와 그들의 의사 레이블 예측을 구분하는 데 핵심적인 파라미터를 안정화하기 위해 디스크림이너 일관성 정규화를 도입한다.
• 프레임워크는 새로운 인스턴스 및 새로운 클래스 시나리오 모두에 적용되어 부분 레이블링이 있는 현실적인 증분 학습을 시뮬레이션한다.
• 분류기가 레이블이 없는 데이터의 의사 레이블을 제공함으로써 조건부 GAN의 훈련을 향상시키기 위해 공동 훈련 전략을 사용한다.
• 분류 및 조건부 생성을 위한 다양한 준지도 학습 접근법과 호환되는 플러그 앤 플레이 솔루션으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 증분 레이블이 없는 데이터가 치명적인 잊음 없이 준지도 지속적 학습에서 효과적으로 활용될 수 있는가?
• RQ2 생성된 샘플의 온라인 리플레이는 SSCL 환경에서 분류 및 생성 성능 향상에 어떻게 기여하는가?
• RQ3 디스크림이너 일관성은 오래된 레이블이 없는 데이터와 그들의 의사 레이블 지식을 유지하는 데 어떤 역할을 하는가?
• RQ4 ORDisCo는 SMB, SMB+UMB, SMB+UMB+UC와 같은 강력한 베이스라인과 비교해 다양한 데이터셋에서 정확도 및 강인성 측면에서 어떻게 성능을 내는가?
• RQ5 ORDisCo는 부분적으로 레이블이 부여된 데이터에서 증분적으로 학습하면서도 높은 품질의 조건부 이미지 생성을 유지할 수 있는가?

주요 결과

• ORDisCo는 준지도 설정에서 SVHN에서 94.38%의 테스트 정확도와 CIFAR10에서 87.37%의 정확도를 달성하여 기존 CL 방법들을 크게 능가한다.
• SVHN-1에서 ORDisCo는 Task 1에서 82.72%의 정확도와 Task 5에서 53.79%를 기록했으며, SMB(81.80%와 35.46%) 및 기타 베이스라인을 초월한다.
• CIFAR10-5에서 ORDisCo는 Task 1에서 95.60%의 정확도와 Task 5에서 65.91%를 기록했으며, SMB(95.78%와 55.12%) 및 기타 베이스라인을 능가한다.
• Tiny-ImageNet-5에서 ORDisCo는 Task 1에서 88.50%의 정확도와 Task 5에서 71.07%의 정확도를 기록했으며, SMB(88.50%와 65.47%) 및 기타 변종을 능가한다.
• ORDisCo의 조건부 이미지 생성 품질은 SMB 기준선보다 뚜렷이 뛰어나며, 여섯 번째 배치부터 고해상도 샘플을 생성한다.
• 디스크림이너 일관성 정규화는 특히 초기 증분 단계에서 열악한 품질의 조건부 샘플로 인한 성능 저하를 효과적으로 줄인다.