[논문 리뷰] Continual Local Replacement for Few-shot Learning

Canyu Le, Zhonggui Chen외 3명|arXiv (Cornell University)|2020. 01. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 희소 학습에서 데이터 부족 문제를 해결하기 위해 훈련 중에 레이블이 붙은 지원 이미지의 일부를 의미적으로 유사한 미레이블된 이미지로 동적으로 교체하는 연속 국소 교체(CLR) 전략을 제안한다. 실시간으로 유의미한 미레이블된 영역을 선택하기 위해 가짜 레이블링을 사용함으로써, CLR는 특징 표현과 결정 경계 학습을 향상시키며, 표준 벤치마크에서 기준 모델 대비 절대 정확도 향상 8%–15%를 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

The goal of few-shot learning is to learn a model that can recognize novel classes based on one or few training data. It is challenging mainly due to two aspects: (1) it lacks good feature representation of novel classes; (2) a few of labeled data could not accurately represent the true data distribution and thus it's hard to learn a good decision function for classification. In this work, we use a sophisticated network architecture to learn better feature representation and focus on the second issue. A novel continual local replacement strategy is proposed to address the data deficiency problem. It takes advantage of the content in unlabeled images to continually enhance labeled ones. Specifically, a pseudo labeling method is adopted to constantly select semantically similar images on the fly. Original labeled images will be locally replaced by the selected images for the next epoch training. In this way, the model can directly learn new semantic information from unlabeled images and the capacity of supervised signals in the embedding space can be significantly enlarged. This allows the model to improve generalization and learn a better decision boundary for classification. Our method is conceptually simple and easy to implement. Extensive experiments demonstrate that it can achieve state-of-the-art results on various few-shot image recognition benchmarks.

연구 동기 및 목표

• 제한된 레이블이 붙은 예시가 진정한 데이터 분포를 올바르게 표현하지 못하는 희소 학습에서의 데이터 부족 문제를 해결하기 위해.
• 임bedding 공간 내에서 감독 신호의 다양성과 대표성을 높여 분류기의 결정 경계 학습을 향상시키기 위해.
• 명시적인 데이터 생성이나 재학습 없이도 미레이블된 데이터로부터 새로운 의미 정보를 학습할 수 있도록 하기 위해.
• 기존의 전이 학습 기준 모델을 향상시키기 위한 단순하고 확장 가능하며 해석 가능한 방법을 개발하기 위해.
• 모델 아키텍처가 고정되어 있을 때조차도 대표적인 훈련 데이터가 희소 학습 성능에 미치는 영향이 크다는 것을 입증하기 위해.

제안 방법

• 각 훈련 에포크마다 현재의 지원 세트와 의미적으로 유사한 미레이블된 이미지를 식별하기 위해 가짜 레이블링 전략을 사용한다.
• 레이블이 붙은 이미지가 의미 일관성을 유지하면서도 새로운 시각적 패턴을 도입할 수 있도록, 선택된 미레이블된 이미지의 내용으로 국소적으로 교체한다.
• 교체 작업은 블록 단위로 수행되며, 이미지당 최대 6개의 블록을 교체하고, 이 과정을 훈련 에포크 동안 반복한다.
• 업데이트된 지원 세트를 기반으로 모델이 미세조정되며, 향상된 감독 신호를 통해 개선된 결정 경계를 학습할 수 있다.
• 이 방법은 미세조정 단계에서 작동하며, 백본 특징 추출기는 고정된 채로 분류기만 증강된 지원 세트를 통해 업데이트한다.
• 이 방법은 표준 전이 학습과 호환되며, 기존의 희소 학습 프레임워크에 쉽게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 의미적으로 유사한 미레이블된 이미지로 레이블이 붙은 지원 이미지의 일부를 동적으로 교체하면 희소 학습 일반화 성능이 향상되는가?
• RQ2 고정된 지원 세트에 비해 연속적으로 지원 세트 이미지를 교체하면 더 나은 결정 경계 학습이 이루어지는가?
• RQ3 교체되는 이미지 블록의 수가 다양한 희소 학습 설정에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 복잡한 메타학습 또는 증강 기반 접근 방식에 비해 단순하고 해석 가능한 방법이 희소 인식에서 더 나은 성능을 낼 수 있는가?
• RQ5 지원 세트의 품질이 희소 분류 정확도에 얼마나 큰 영향을 미치는가?

주요 결과

• CLR는 20-way 1-shot MiniImageNet에서 34.94%의 top-1 정확도를 기록하며, 이전 최신 기술 수준을 8% 이상 초월한다.
• 20-way 5-shot MiniImageNet에서는 55.20%의 정확도를 달성하여 기준 방법 대비 15.2%의 절대적 향상을 이룬다.
• 100개의 랜덤 에피소드에 걸쳐 안정적인 수렴을 보이며, 낮은 표준편차를 보여 안정적인 성능을 입증한다.
• 이미지당 최대 6개의 블록까지 교체할 경우 최적의 성능 트레이드오프를 보이며, 더 많은 교체(예: 9개 블록)는 성능 저하를 초래한다.
• T-SNE 시각화 결과, 교체된 이미지의 특징들이 의미 클러스터 내에서 동적으로 이동하는 것으로 확인되어 효과적인 의미적 강화가 이루어졌음을 시사한다.
• 활성도 맵 분석 결과, 교체된 영역가 새로운 의미적 콘텐츠 또는 부분적 가림을 해석하는 것으로 나타나, 모델이 다양한 시각적 패턴에서 학습할 수 있음을 뒷받침한다.