[논문 리뷰] Few-Shot Unsupervised Continual Learning through Meta-Examples

Alessia Bertugli, Stefano Vincenzi외 2명|arXiv (Cornell University)|2020. 09. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 4

한 줄 요약

이 논문은 데이터가 소수이며 레이블이 없고 불균형한 조건에서의 지속적 학습을 고려한 새로운 설정인 FUSION을 제안하며, 자기주의성(self-attention) 메커니즘을 사용해 단일 '메타-예시(meta-example)'를 형성하는 메타학습 방법인 MEML을 도입한다. 이 방법은 오미니글롯과 미니-이미지넷에서 경쟁적인 성능을 달성하며, 일부 경우에서 지도 학습 기반 모델을 초월하며, 소규모이고 불균형한 클러스터 및 특징의 다양성이 데이터 균형보다 일반화 능력을 향상시킨다는 점을 입증한다.

ABSTRACT

In real-world applications, data do not reflect the ones commonly used for neural networks training, since they are usually few, unlabeled and can be available as a stream. Hence many existing deep learning solutions suffer from a limited range of applications, in particular in the case of online streaming data that evolve over time. To narrow this gap, in this work we introduce a novel and complex setting involving unsupervised meta-continual learning with unbalanced tasks. These tasks are built through a clustering procedure applied to a fitted embedding space. We exploit a meta-learning scheme that simultaneously alleviates catastrophic forgetting and favors the generalization to new tasks. Moreover, to encourage feature reuse during the meta-optimization, we exploit a single inner loop taking advantage of an aggregated representation achieved through the use of a self-attention mechanism. Experimental results on few-shot learning benchmarks show competitive performance even compared to the supervised case. Additionally, we empirically observe that in an unsupervised scenario, the small tasks and the variability in the clusters pooling play a crucial role in the generalization capability of the network. Further, on complex datasets, the exploitation of more clusters than the true number of classes leads to higher results, even compared to the ones obtained with full supervision, suggesting that a predefined partitioning into classes can miss relevant structural information.

연구 동기 및 목표

• 데이터가 소수이며 레이블이 없고 불균형한 현실 세계의 지속적 학습 환경에서의 격차를 메우기 위해 새로운 현실적인 설정을 제안한다.
• catastrophic forgetting을 완화하고 비지도 지속적 학습에서 새로운 불균형한 작업으로 잘 일반화되는 메타학습 프레임워크를 개발한다.
• 소수의 비지도 지속적 학습에서 불균형한 클러스터와 특징의 다양성이 모델의 일반화 능력에 미치는 영향을 조사한다.
• 사전 정의된 클래스 분할이 구조적 정보를 놓칠 수 있으며, 진정한 클래스 수보다 더 많은 클러스터를 사용할 경우 성능 향상이 이루어진다는 것을 입증한다.

제안 방법

• 임베딩 네트워크(Deep Cluster 또는 ACAI)를 사용해 레이블이 없는 데이터로부터 잠재 공간을 학습한 후, k-means 클러스터링을 적용해 불균형한 작업을 구성한다.
• 클러스터의 크기가 다양한 작업을 구성함으로써 데이터 분포를 유지하고 인위적인 균형 조정이나 클러스터 정규화를 방지한다.
• MEML은 이중 루프 메타학습 구조를 사용한다: 자기주의성 메커니즘을 통해 가장 대표적인 특징을 통합해 단일 '메타-예시'를 형성하는 내부 루프 업데이트를 수행한다.
• 외부 루프는 작업별 데이터와 전체 학습 궤적에서 무작위로 샘플링한 데이터를 조합하여 전체 모델 최적화를 수행함으로써 기억 상실을 방지한다.
• 자기주의성 계수는 각 클러스터 내에서 가장 정보가 풍부한 샘플을 식별하기 위해 학습 가능한 네트워크를 통해 계산된다. 이는 효율적이고 집중적인 특징 재사용을 가능하게 한다.
• 모델은 Adam 옵timizer를 사용해 학습되며, 메타-배치 크기는 1이며, 오미니글롯, 미니-이미지넷, SlimageNet64, Cifar100에서 분포 외 데이터에 대한 평가를 위해 테스트된다.

실험 결과

연구 질문

• RQ1 사용자 지정된 균형 잡힌 클래스가 아닌, 비지도 클러스터링에서 유도된 불균형한 작업을 사용할 경우, 메타학습 모델의 성능는 어떻게 변화하는가?
• RQ2 작은 클러스터나 불균형한 클러스터를 사용할 경우, 지속적 학습에서 일반화 능력과 catastrophic forgetting에 어떤 영향을 미치는가?
• RQ3 단일 메타-예시를 형성하는 자기주의성 메커니즘이 소수의 비지도 지속적 학습에서 효율성과 성능을 향상시킬 수 있는가?
• RQ4 진정한 클래스 수보다 더 많은 클러스터를 사용할 경우, 지도 학습 기반 모델이나 고정된 클래스 분할보다 성능 향상이 이루어지는가?
• RQ5 오미니글롯 또는 미니-이미지넷에서 학습한 모델이 Cifar100과 같은 분포 외 데이터셋으로 일반화되는 정도는 어떠한가?

주요 결과

• 오미니글롯에서 MEML 모델은 5-way 1-shot 설정에서 91.1%의 정확도를 달성하며, 지도 학습 기반 모델을 초월하며 비지도 지속적 학습 환경에서 강력한 일반화 능력을 보였다.
• 미니-이미지넷에서 모델은 5-way 1-shot 설정에서 57.4%의 정확도를 기록하며, 학습 중 레이블이 없음에도 불구하고 경쟁적인 성능을 보였다.
• 제거 실험 결과, 자기주의성으로 유도된 메타-예시를 업데이트하는 것이 무작위 샘플링이나 동일 작업에 대한 다중 업데이트보다 우수하며, 학습 시간과 메모리 사용량을 줄였다.
• 실험적으로 불균형한 클러스터와 특징의 다양성이 데이터 균형보다 일반화 능력 향상에 더 중요한 역할을 한다는 것이 확인되었으며, 이는 소규모 클러스터가 학습에 의미 있는 기여를 한다는 것을 시사한다.
• 진정한 클래스 수보다 더 많은 클러스터를 사용할 경우, 복잡한 데이터셋에서 전체 지도 학습보다 높은 성능을 기록하며, 이는 사전 정의된 클래스 경계가 기저 구조적 정보를 놓칠 수 있음을 시사한다.
• Cifar100에서 오미니글롯 데이터를 기반으로 FiLM 레이어를 미세조정한 모델은 2-way 1-shot 설정에서 50.0%의 정확도를 기록하며, 분포 외 작업으로의 전이 가능성(transferability)을 보였다.