[논문 리뷰] Dynamic Few-Shot Visual Learning without Forgetting

Spyros Gidaris, Nikos Komodakis|arXiv (Cornell University)|2018. 04. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 72

한 줄 요약

본 논문은 테스트 시점에 몇 가지 예시로 신카테고리를 빠르게 학습하고 기본 카테고리에 대한 정확도는 유지하는 동적 소량 학습 시스템을 제시하며, 코사인-유사도 분류기와 주의 기반의 소수샷 가중치 생성기를 사용합니다. Mini-ImageNet와 Bharath & Girshick 소수샷 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

The human visual system has the remarkably ability to be able to effortlessly learn novel concepts from only a few examples. Mimicking the same behavior on machine learning vision systems is an interesting and very challenging research problem with many practical advantages on real world vision applications. In this context, the goal of our work is to devise a few-shot visual learning system that during test time it will be able to efficiently learn novel categories from only a few training data while at the same time it will not forget the initial categories on which it was trained (here called base categories). To achieve that goal we propose (a) to extend an object recognition system with an attention based few-shot classification weight generator, and (b) to redesign the classifier of a ConvNet model as the cosine similarity function between feature representations and classification weight vectors. The latter, apart from unifying the recognition of both novel and base categories, it also leads to feature representations that generalize better on "unseen" categories. We extensively evaluate our approach on Mini-ImageNet where we manage to improve the prior state-of-the-art on few-shot recognition (i.e., we achieve 56.20% and 73.00% on the 1-shot and 5-shot settings respectively) while at the same time we do not sacrifice any accuracy on the base categories, which is a characteristic that most prior approaches lack. Finally, we apply our approach on the recently introduced few-shot benchmark of Bharath and Girshick [4] where we also achieve state-of-the-art results. The code and models of our paper will be published on: https://github.com/gidariss/FewShotWithoutForgetting

연구 동기 및 목표

• 기본 카테고리를 잊지 않으면서 동적 소수샷 학습 문제를 동기 부여하고 형식화한다.
• 과거 시각 지식을 주의(attention)를 통해 활용하는 소수샷 분류 가중치 생성기를 개발한다.
• 기본 및 새로운 카테고리 인식을 통합하기 위해 분류기를 코사인 유사도로 재정식화한다.
• Mini-ImageNet과 최신 소수샷 벤치마크에서 평가하여 최첨단 성과를 달성한다.

제안 방법

• 기본 및 새로운 카테고리를 통합하기 위해 코사인 유사도 기반 ConvNet 분류기를 도입한다.
• 특징 평균화와 기반 클래스 가중치에 대한 주의를 이용하는 소수샷 분류 가중치 생성기를 구현한다.
• 기초 카테고리 벡터로부터 새로운 가중치를 구성하기 위해 주의 메커니즘을 도입한다.
• 두 단계로 학습한다: (i) 특징 추출기와 기본 가중치를 학습; (ii) 특징 추출기를 고정한 채 가중치 생성기를 학습.
• 마지막 특징 계층 뒤의 ReLU를 제거하여 z가 음수 값을 가지도록 하고 코사인 기반 분류를 향상시킨다.
• 코사인 유사도와 학습 가능한 스케일을 갖는 주의 커널을 사용하여 기본 카테고리 가중치 메모리를 조회한다.

실험 결과

연구 질문

• RQ1 소수샷 모델이 테스트 시점에 새로운 카테고리를 동적으로 도입하더라도 기본 카테고리의 성능이 악화되지 않는가?
• RQ2 코사인 유사도 분류기가 소수샷 설정에서 점곱(dot-product) 분류기보다 보지 못한( unseen) 카테고리에 대해 더 나은 일반화를 제공하는가?
• RQ3 주의 기반 가중치 생성기가 기본 카테고리 벡터로부터 새로운 분류 가중치를 효과적으로 구성할 수 있는가?
• RQ4 기본 및 새로운 카테고리 인식을 통합하는 것이 표준 소수샷 벤치마크에서 전체 성능을 향상시키는가?

주요 결과

Model	Novel (5-shot)	Base (5-shot)	Both (5-shot)	Novel (1-shot)	Base (1-shot)	Both (1-shot)
Matching-Nets [26]	68.87	-	-	55.53	-	-
Prototypical-Nets [23]	72.67	62.10	32.70	54.44	52.35	26.68
Cosine Classifier	72.83	70.68	51.89	54.55	70.68	39.17
Cosine Classifier & Avg. Weight Gen	74.66	70.92	60.26	55.33	70.45	48.56
Cosine Classifier & Att. Weight Gen	74.92	70.88	60.50	58.55	70.73	50.50

• Mini-ImageNet에서, Attention Weight Gen이 포함된 Cosine Classifier는 검증 세트의 1-shot/5-shot 평가에서 74.92% (5-shot novel) 및 70.88% (base), 60.50% (both)를 달성하여 기존 방법을 능가한다.
• Avg. Weight Gen이 결합된 Cosine Classifier도 강력한 성과를 달성한다 (5-shot에서 74.66% novel, 70.92% base, 60.26% both; 1-shot에서 55.33% novel, 70.45% base, 48.56% both).
• 코사인 유사도 기반 분류기는 점곱 기준선보다 unseen 카테고리에 대해 더 촘촘하고 판별력 있는 특징 클러스터를 제공한다.
• Mini-ImageNet 테스트 세트에서 제안된 모델은 다양한 백본(예: ResNet, Conv4 변형)을 사용하여 5-shot 및 1-shot 작업에서 경쟁력 있거나 우수한 성능을 보이며, 강력한 기본 카테고리 정확도를 유지한다.
• 제안된 방법은 Bharath and Girshick 소수샷 벤치마크에서 최첨단 성과를 달성한다.