[논문 리뷰] Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning

Huiwon Jang, Hankook Lee외 1명|arXiv (Cornell University)|2023. 03. 02.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 비정상적인 메타학습 프레임워크인 PsCo를 제안한다. 이는 비정상적인 데이터에서 점차 향상되는 가짜 레이블링과 무작위로 구성된 다양한 작업을 생성하기 위해 동적 모멘텀 네트워크와 모멘텀 큐를 사용한다. 온라인 동적 작업 구성과 함께 자기지도 대비 학습을 활용함으로써 PsCo는 Omniglot과 miniImageNet에서 최신 기준 성능을 달성하며, 대규모 ImageNet으로도 효과적으로 확장되어 이전의 비정상 메타학습 방법을 능가한다.

ABSTRACT

Unsupervised meta-learning aims to learn generalizable knowledge across a distribution of tasks constructed from unlabeled data. Here, the main challenge is how to construct diverse tasks for meta-learning without label information; recent works have proposed to create, e.g., pseudo-labeling via pretrained representations or creating synthetic samples via generative models. However, such a task construction strategy is fundamentally limited due to heavy reliance on the immutable pseudo-labels during meta-learning and the quality of the representations or the generated samples. To overcome the limitations, we propose a simple yet effective unsupervised meta-learning framework, coined Pseudo-supervised Contrast (PsCo), for few-shot classification. We are inspired by the recent self-supervised learning literature; PsCo utilizes a momentum network and a queue of previous batches to improve pseudo-labeling and construct diverse tasks in a progressive manner. Our extensive experiments demonstrate that PsCo outperforms existing unsupervised meta-learning methods under various in-domain and cross-domain few-shot classification benchmarks. We also validate that PsCo is easily scalable to a large-scale benchmark, while recent prior-art meta-schemes are not.

연구 동기 및 목표

• 기존의 비정상 메타학습 방법이 고정된 낮은 품질의 가짜 레이블이나 복잡한 생성 모델에 의존하는 한계를 해결하기 위해.
• 인간의 레이블링이 필요 없이 메타학습 과정에서 점차 향상되는 가짜 레이블링을 가능하게 하는 확장 가능한 자기지도 학습 프레임워크를 개발하기 위해.
• 이전 배치의 메모리만을 사용하여 비정상 데이터에서 다양한 소수 샘플 분류 작업을 구성하기 위해.
• 자기지도 학습의 구성 요소인 모멘텀 네트워크와 대비 학습을 비정상 메타학습에 적응시켜 자기지도 학습과 비정상 메타학습 간 격차를 메우기 위해.
• 감독 없이도 대규모 벤치마크인 ImageNet에서 효과적인 소수 샘플 분류를 가능하게 하기 위해.

제안 방법

• PsCo는 현재 미니배치를 쿼리로 사용하고 이전 배치의 모멘텀 큐에서 $K$개의 서포트 샘플을 선택하여 $N$-way $K$-shot 작업을 구성한다.
• 기본 네트워크의 파라미터에 대한 지수 이동 평균을 유지함으로써 안정적이고 변화하는 가짜 레이블을 생성하기 위해 모멘텀 네트워크를 활용한다.
• 유사도 행렬에 대해 Sinkhorn-Knopp 알고리즘을 적용하여 미분 가능한 가짜 레이블을 할당함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 프레임워크는 대비 학습 목표를 사용하여 양성 쌍(쿼리와 할당된 서포트 샘플)을 가까이 모으고, 음성 쌍은 멀리 떼어내도록 모델을 최적화한다.
• 모멘텀 큐는 이전 배치의 특징을 저장하며 실시간으로 업데이트되어 다양한 대표성 있는 작업 구성이 가능하다.
• 전체 시스템은 모멘텀 네트워크와 과거 특징의 큐에서 유도된 가짜 레이블을 사용하여 감독 대비 학습으로 훈련되며, 이는 작업 품질의 점진적 향상이 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기지도 메타학습 프레임워크는 고정되거나 사전 학습된 레이블에 의존하지 않고도 훈련 중에 점차 향상되는 가짜 레이블링을 동적으로 개선할 수 있는가?
• RQ2 온라인 메모리와 모멘텀 메커니즘만을 사용하여 비정상 데이터에서 다양한 대표성 있는 소수 샘플 작업을 어떻게 구성할 수 있는가?
• RQ3 가짜 레이블이 모멘텀 네트워크와 과거 특징의 큐에서 유도된 경우, 대비 학습 목표가 소수 샘플 분류를 위한 모델 훈련에 효과적으로 작용할 수 있는가?
• RQ4 제안된 방법은 이전의 비정상 메타학습 방법이 실패하는 대규모 벤치마크인 ImageNet으로 효과적으로 확장될 수 있는가?
• RQ5 제안된 PsCo 프레임워크는 감독 메타학습 기반 모델과 비교해 소수 샘플 일반화 성능에서 어떤가?

주요 결과

• PsCo는 5-way 1-shot 및 5-way 5-shot 설정 모두에서 기존의 비정상 메타학습 방법을 능가하는 최신 기준의 성능을 Omniglot 벤치마크에서 달성한다.
• miniImageNet에서 PsCo는 5-way 50-shot 설정에서 73.50%의 정확도를 기록하여 이전의 최신 기준 비정상 메타학습 방법을 초월한다.
• PsCo는 도메인 이동된 데이터에서 평가되었을 때도 강력한 일반화 성능을 유지하며, 교차 도메인 소수 샘플 학습에서 높은 성능을 보인다.
• 절단 실험을 통해 모멘텀 큐와 Sinkhorn-Knopp 기반의 레이블 할당이 성능 향상에 크게 기여하며, 기준 모델 대비 최대 2.5%의 정확도 향상을 확인했다.
• PsCo는 기존의 비정상 메타학습 방법이 계산 및 메모리 제약로 실패하는 대규모 ImageNet 벤치마크로도 효과적으로 확장된다.
• 모델은 하이퍼파라미터 선택에 대해 강건하며, $K$ 값이 1에서 64까지 변화하더라도 성능 저하가 최소에 그치며 안정적이고 일반화 가능한 학습을 보여준다.