[논문 리뷰] Few-Shot Image Recognition by Predicting Parameters from Activations

Siyuan Qiao, Chenxi Liu외 2명|arXiv (Cornell University)|2017. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 18

한 줄 요약

이 논문은 사전 훈련된 네트워크에서 특성 활성화와 학습된 파라미터 간의 구조적 유사성을 활용하여, 특성 활성화에서 직접 분류 레이어 파라미터를 예측하는 few-shot 이미지 인식 방법을 제안한다. 이로 인해 단일 순방향 전파를 통해 새로운 카테고리에 대해 zero-shot 적응이 가능해지며, ImageNet과 MiniImageNet에서 모두 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

In this paper, we are interested in the few-shot learning problem. In particular, we focus on a challenging scenario where the number of categories is large and the number of examples per novel category is very limited, e.g. 1, 2, or 3. Motivated by the close relationship between the parameters and the activations in a neural network associated with the same category, we propose a novel method that can adapt a pre-trained neural network to novel categories by directly predicting the parameters from the activations. Zero training is required in adaptation to novel categories, and fast inference is realized by a single forward pass. We evaluate our method by doing few-shot image recognition on the ImageNet dataset, which achieves the state-of-the-art classification accuracy on novel categories by a significant margin while keeping comparable performance on the large-scale categories. We also test our method on the MiniImageNet dataset and it strongly outperforms the previous state-of-the-art methods.

연구 동기 및 목표

• 단일 카테고리당 1~3개의 예시만 제공되는 few-shot 이미지 인식 문제에 대응한다.
• 세부 조정(fine-tuning) 없이도 새로운 카테고리에 적응하면서 대규모 카테고리에서의 성능를 유지하는 방법을 개발한다.
• 특성에서 직접 파라미터를 예측함으로써 단일 순방향 전파를 통해 빠른 추론을 가능하게 한다.
• 활성화 통계와 분류 레이어 파라미터 간의 구조적 유사성을 활용하여 카테고리 간 일반화를 도모한다.
• few-shot 및 대규모 분류 작업 양쪽에 효과적인 통합 프레임워크를 구축한다.

제안 방법

• 각 카테고리의 평균 활성화를 기반으로 새로운 카테고리의 최종 완전히 연결된(fully connected) 레이어 파라미터를 예측한다.
• 사전 훈련된 네트워크의 가중치를 감독으로 사용하여 평균 활성화를 해당 카테고리의 파라미터로 매핑하는 파라미터 예측망을 훈련한다.
• 예측된 파라미터가 원래 사전 훈련된 파라미터와 일치하도록 대비 손실(contrastive loss)을 적용하여 의미적 일致성을 확보한다.
• 일반화 및 강인성을 향상시키기 위해 온도 조절된 코사인 유사도를 적용한다.
• 임베딩 공간에서 활성화 평균과 학습된 파라미터 간의 구조적 유사성을 검증하기 위해 t-SNE 시각화를 활용한다.
• 성능 비교 및 분석을 위해 단순한 CNN과 WRN-28-10 두 가지 백본 아키텍처를 사용하여 방법을 구현한다.

실험 결과

연구 질문

• RQ1 활성화 평균과 분류 파라미터 간의 구조적 유사성을 활용하여, 세부 조정 없이도 새로운 카테고리의 파라미터를 예측할 수 있는가?
• RQ2 특성에서 파라미터를 예측하는 방법이 ImageNet과 같은 대규모 데이터셋에서 기존 few-shot 학습 방법보다 우월한가?
• RQ3 기존 방법들이 고정된 작업 설정을 가진 반면, 이 방법은 임의의 수의 few-shot 카테고리와 기준 이미지에 일반화 가능한가?
• RQ4 의미적 구조 측면에서 예측된 파라미터 분포가 원래 사전 훈련된 파라미터와 얼마나 잘 일치하는가?
• RQ5 최신 기준 성능을 달성하면서도 대규모 카테고리에서 강력한 성능 유지를 유지할 수 있는가?

주요 결과

• 전체 ImageNet 데이터셋에서, 이 방법은 상당한 격차로 최신 기준 성능을 달성하면서도 원래 1000개 클래스에서의 성능를 유사하게 유지한다.
• MiniImageNet에서 5-way 1-shot 설정에서는 59.60%의 정확도를 기록하고, 5-way 5-shot 설정에서는 73.74%의 정확도를 달성하여 이전 SOTA 방법들을 능가한다.
• Ours-WRN 구현은 5-shot 설정에서 73.74%의 정확도를 기록하여 MAML(63.11%)과 Meta-Learner LSTM(60.60%)을 10퍼센트 이상 뛰어넘는다.
• t-SNE를 통한 시각화 결과 활성화 평균과 분류 파라미터 간의 높은 구조적 유사성이 확인되어, 본 방법의 핵심 가정을 뒷받침한다.
• 파라미터 예측망은 클래스 수나 각 클래스의 기준 이미지 수에 제약 없이 다양한 few-shot 설정에 잘 일반화된다.
• 사전 훈련 이후 새로운 카테고리에 대해 훈련 없이 단일 순방향 전파만으로도 빠른 추론이 가능하다.