[논문 리뷰] Low-Shot Learning with Imprinted Weights

H. Jerry Qi, Matthew A. Brown외 1명|arXiv (Cornell University)|2017. 12. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 8

한 줄 요약

이 논문은 새로운 클래스 예제의 스케일된 활성화를 사용하여 ConvNet 분류기의 최종 레이어 가중치를 직접 설정하는 웨이트 임프린팅(weight imprinting)을 소개한다. 이 방법은 최소한의 데이터로 즉각적인 분류 성능을 가능하게 한다. 실험 결과, 임프린팅된 임베딩의 평균화가 최근접 이웃 분류보다 우수하며, 특히 CUB-200-2011에서 1~5샷 학습 시나리오에서 보다 우수한 미세조정 초기화를 제공한다.

ABSTRACT

Human vision is able to immediately recognize novel visual categories after seeing just one or a few training examples. We describe how to add a similar capability to ConvNet classifiers by directly setting the final layer weights from novel training examples during low-shot learning. We call this process weight imprinting as it directly sets weights for a new category based on an appropriately scaled copy of the embedding layer activations for that training example. The imprinting process provides a valuable complement to training with stochastic gradient descent, as it provides immediate good classification performance and an initialization for any further fine-tuning in the future. We show how this imprinting process is related to proxy-based embeddings. However, it differs in that only a single imprinted weight vector is learned for each novel category, rather than relying on a nearest-neighbor distance to training instances as typically used with embedding methods. Our experiments show that using averaging of imprinted weights provides better generalization than using nearest-neighbor instance embeddings.

연구 동기 및 목표

• 단 한두 개의 학습 예제로도 인간과 유사한 소수의 샘플 인식을 모방하여 새로운 시각적 카테고리에 대한 즉각적인 분류를 가능하게 하기.
• 모든 이전 데이터에 대해 재학습이 필요로 하는 표준 미세조정의 한계를 극복하여 자원이 제한된 장치에서의 적용이 불가능한 문제를 해결하기.
• 저장된 예시를 여러 개에서 하나의 평균화된 임베딩 벡터로 대체함으로써 임베딩 기반 방법을 개선하여 메모리 소비를 줄이고 일반화 성능을 향상시키기.
• 랜덤 초기화 대신 임프린팅된 가중치를 사용함으로써 후속 미세조정을 위한 더 나은 초기화를 제공하기.

제안 방법

• 새로운 클래스의 단일 또는 다수의 학습 이미지에서 최전단 레이어 활성화를 계산하고, 이를 스케일링하여 최종 레이어 가중치로 설정한다.
• 학습 가능한 스케일링 인자를 가진 정규화 레이어를 통해 이러한 활성화를 직접 분류기 가중치로 복사할 수 있도록 하여 표준 ConvNet의 매개변수 형태를 유지한다.
• 클래스당 다수의 예제가 있는 경우 활성화를 평균화하여 하나의 안정적인 가중치 벡터를 형성함으로써 개별 임베딩을 모두 저장할 필요 없이 대체한다.
• 임프린팅된 가중치는 직접 추론에 사용되어 재학습 없이도 즉각적인 분류 성능을 제공한다.
• 표준 backpropagation와 호환되어 추가 데이터가 확보될 경우 후속 미세조정이 가능하다.
• 표준 소프트맥스 교차엔트로피 손실을 사용하여 평가하며, 트리플릿 또는 리프트드 구조적 손실과 같은 더 복잡한 손실 함수와 대비된다.

실험 결과

연구 질문

• RQ1 소수의 샘플 예제에서의 활성화를 이용한 직접적인 가중치 초기화가 개별 임베딩을 저장한 최근접 이웃 검색보다 즉각적인 분류 성능에서 더 우수한가?
• RQ2 임프린팅된 임베딩을 평균화한 것이 개별 예시 임베딩을 사용하는 최근접 이웃 분류에 비해 일반화 성능을 향상시키는가?
• RQ3 저샷 학습에서 임프린팅된 가중치가 랜덤 초기화보다 미세조정의 시작점으로서 더 나은 성능을 보이는가?
• RQ4 임프린팅을 미세조정과 효과적으로 조합하여 표준 학습 방법보다 더 높은 최종 정확도를 달성할 수 있는가?
• RQ5 손실 함수의 선택(예: 소프트맥스 대비 리프트드 구조적 손실)이 임프린팅된 가중치의 성능에 영향을 미치는가?

주요 결과

• 평균화된 임베딩을 사용한 임프린팅은 CUB-200-2011에서 20샷 학습 시 52.25%의 상위-1 정확도를 달성하여 개별 임베딩을 사용한 최근접 이웃 분류보다 뛰어났다.
• 임프린팅된 모델은 10샷 학습에서 48.74%의 상위-1 정확도를 기록하여 기준선인 최근접 이웃 접근 방식보다 뚜렷이 뛰어났다.
• 미세조정을 수행한 결과, 임프린팅된 가중치는 20샷 학습에서 70.07%의 상위-1 정확도를 달성하여 랜덤 초기화와 함께 미세조정한 경우의 71.57%를 뛰어넘었다.
• 모델은 각 클래스당 하나의 가중치 벡터만 저장함으로써 테스트 시 메모리 소비와 계산량을 줄였다.
• 임베딩 차원을 64에서 512로 증가시켜도 성능에 유의미한 영향을 주지 않아, 임베딩 크기 변화에 대해 강건함을 입증했다.
• 소프트맥스 손실을 사용한 임프린팅이 동일한 설정에서 리프트드 구조적 손실보다 성능이 뛰어나, 임프린팅과 결합된 간단한 목표 함수가 더 효과적일 수 있음을 시사했다.