[논문 리뷰] Hypernetworks for Continual Semi-Supervised Learning

Dhanajit Brahma, Vinay Kumar Verma외 1명|arXiv (Cornell University)|2021. 10. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 8

한 줄 요약

이 논문은 가중치 생성 네트워크의 메타공간에서 지식을 통합하는 하이퍼넷워크 기반 프레임워크인 MCSSL을 제안한다. 변동형 오토인코더(Variational Autoencoder)를 사용해 하이퍼넷워크를 모델링하고, 기본 분류기는 Semi-ACGAN을 사용함으로써 순차적 작업 전반에서 레이블이 있는 데이터와 없는 데이터를 효과적으로 활용한다. 제안된 Semi-Split CIFAR-10 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 레이블 수가 적은 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Learning from data sequentially arriving, possibly in a non i.i.d. way, with changing task distribution over time is called continual learning. Much of the work thus far in continual learning focuses on supervised learning and some recent works on unsupervised learning. In many domains, each task contains a mix of labelled (typically very few) and unlabelled (typically plenty) training examples, which necessitates a semi-supervised learning approach. To address this in a continual learning setting, we propose a framework for semi-supervised continual learning called Meta-Consolidation for Continual Semi-Supervised Learning (MCSSL). Our framework has a hypernetwork that learns the meta-distribution that generates the weights of a semi-supervised auxiliary classifier generative adversarial network $( extit{Semi-ACGAN})$ as the base network. We consolidate the knowledge of sequential tasks in the hypernetwork, and the base network learns the semi-supervised learning task. Further, we present $ extit{Semi-Split CIFAR-10}$, a new benchmark for continual semi-supervised learning, obtained by modifying the $ extit{Split CIFAR-10}$ dataset, in which the tasks with labelled and unlabelled data arrive sequentially. Our proposed model yields significant improvements in the continual semi-supervised learning setting. We compare the performance of several existing continual learning approaches on the proposed continual semi-supervised learning benchmark of the Semi-Split CIFAR-10 dataset.

연구 동기 및 목표

• 순차적 작업에서 레이블이 있는 데이터와 없는 데이터를 모두 다룰 수 있는 지속적 준지도 학습 프레임워크의 부족을 해결하기 위해.
• 하이퍼넷워크의 잠재공간에 지식을 통합함으로써 지속적 학습에서 치명적인 기억 상실(catastrophic forgetting)을 완화하기 위해.
• 지속적 준지도 학습을 평가하기 위한 새로운 벤치마크인 Semi-Split CIFAR-10을 개발하기 위해.
• 레이블이 없는 데이터를 활용할 경우, 레이블 수가 적은 환경에서 일반화 능력과 강인성을 향상시킬 수 있음을 입증하기 위해.
• 기본 네트워크에 생성 모델 기반의 네트워크를 도입하여, 지도 학습에서 준지도 학습으로의 메타통합 메커니즘을 확장하기 위해.

제안 방법

• 기본 네트워크의 가중치를 생성하는 데 사용되는 하이퍼넷워크는 변동형 오토인코더(Variational Autoencoder, VAE)로 모델링되어 메타공간에서의 지식 통합을 가능하게 한다.
• 기본 네트워크는 레이블이 있는 데이터와 없는 데이터를 모두 사용하여 준지도 분류를 수행하고 이미지를 생성하는 방식으로 수정된 Semi-ACGAN이다.
• 하이퍼넷워크의 인코더는 작업별로 특화된 가중치를 10차원의 잠재 벡터로 매핑하고, 디코더는 이 잠재 코드로부터 기본 네트워크의 가중치를 재구성한다.
• 지식 통합은 하이퍼넷워크를 순차적 작업에 대해 훈련함으로써 달성되며, VAE 손실이 잠재공간을 정규화하여 작업별 지식를 유지하도록 유도한다.
• 추론 단계에서는 하이퍼넷워크 디코더로부터 15개의 샘플드 모델을 추출해 다수결 투표 방식으로 앙상블하여 강인성을 향상시킨다.
• 메모리 버퍼는 추론 중 기본 모델의 미세조정을 위해 소량의 레이블이 있는 데이터와 없는 데이터를 저장한다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크를 통한 메타통합이 지속적 준지도 학습에서 치명적인 기억 상실을 효과적으로 완화할 수 있는가?
• RQ2 레이블이 있는 데이터만 사용할 경우, MCSSL의 성능은 지도 학습 기반의 지속적 학습 베이스라인과 비교해 어떻게 되는가?
• RQ3 레이블 수가 적은 상황에서 MCSSL은 레이블이 없는 데이터로부터 얼마나 많은 이점을 얻을 수 있는가?
• RQ4 제안된 Semi-Split CIFAR-10 벤치마크는 지속적 준지도 학습 시스템의 의미 있는 평가를 가능하게 하는가?
• RQ5 레이블이 있는 데이터와 없는 데이터의 비율이 지속적 학습 환경에서 정확도와 기억 상실에 어떤 영향을 미치는가?

주요 결과

• MCSSL은 Semi-Split CIFAR-10 벤치마크에서 모든 레이블 수 설정에서 Single-SSL 및 EWC-SSL 베이스라인을 일관되게 능가한다.
• 각 작업당 레이블이 10개뿐인 경우에도 MCSSL은 높은 정확도를 유지하여 저자료 환경에서 뛰어난 일반화 능력을 보여준다.
• 각 작업당 레이블 수가 증가함에 따라 MCSSL의 정확도는 약간 향상되고, 기억 상실도 감소한다.
• 각 작업당 레이블이 없는 데이터 수가 증가할수록 정확도가 높아지며, 이는 레이블이 없는 데이터를 효과적으로 활용하고 있음을 시사한다.
• 레이블이 없는 데이터를 활용하지 않는 지도 학습 기반의 지속적 학습 베이스라인(EWC, MERLIN 등)보다 MCSSL이 레이블 수가 감소할수록 더 뛰어난 성능을 보이며, 특히 레이블 수가 적은 경우 유의미한 성능 향상을 보인다.
• 작업의 복잡도가 증가함에 따라 최소한의 기억 상실만을 보이며, 하이퍼넷워크의 잠재공간에서 효과적인 지식 통합이 이루어지고 있음을 시사한다.